Чтобы решить вашу проблему, я бы порекомендовал вам переопределить высоту BottomNavigation:
<dimen name="design_bottom_navigation_height" tools:override="true">64dp</dimen>
Но эта строка кода внутри файла ресурсов значения и вам должно быть хорошо go!
Редактировать:
Извините, я пропустил, вы также спросили, как изменить размер значка, но это работает аналогично:
<dimen name="bottom_navigation_icon_size" tools:override="true">32dp</dimen>
С этими двумя переопределениями измерений, у тебя должно быть все в порядке!