Удаляя или добавляя представления, линейное расположение должно снова измерять и размещать все его дочерние элементы, поэтому они перемещаются. Вы можете просто попытаться установить видимость невидимым.
myLinearLayout.setVisibility(View.INVISIBLE);
любой вид, установленный как невидимый, по-прежнему сохраняет свой размер и расположение в макете, но больше не виден.