Это на самом деле зависит от вашего варианта использования. Если у вас есть как 5 фрагментов, которые имеют одинаковую структуру, то есть один список просмотра переработчика. Лучше использовать единый макет для всех целей. Это делает приложение действительно компактным.
Позже, когда произойдут некоторые изменения, и вы захотите добавить элемент, давайте представим иконку потрясающего объекта, затем создадим новый макет и используем его только для измененного фрагмента.
Так что о вашем вопрос, да, было бы лучше использовать один и тот же макет для этих 4 фрагментов.