Два способа сделать это:
1) Создайте папку layout-ldpi и поместите туда нужный макет для небольших экранов.
2) Проверьте плотность и измените компоновку во время выполнения:
density = getResources().getDisplayMetrics().density;
Если это небольшие экраны (например, LDPI), используйте другой макет XML, отображающий только «минимальное количество элементов».