Есть два файла просмотра для каждого сценария. Вы перебиваете себя проблемой, добавляя представления в нужном месте по коду.
Или есть один вид, который удерживает кнопку, и установите видимость GONE, чтобы отклонить, когда вам не нужно.
((TextView) inflatedview.findViewById(R.id.custombut)).setVisibility(View.GONE);