Я думаю, что лучшим и распространенным способом является использование .setVisibility (View.GONE)
Возможно, лучший способ для вас - установить значение ALL как пропавшее по умолчанию (определите его в макете XML) и включить по требованию.
Например, я думаю, что ListView очень умен, и предпочитаю, чтобы вы пометили представление как GONE, а не удалили его.
И я думаю, что Android в целом тоже умный, так что он поймет, что вам не нужен вид, установленный как пропавший:)
UPDATE:
возможно, лучший способ для вас - добавить эти кнопки из кода, чтобы вы создали много кнопок по мере необходимости:)