Боюсь, что BottomNavigationView не предназначен для работы в качестве «SideNavigationView». Если вы посмотрите на реализацию onLayout () объекта BottomNavigationMenuView (вложенного в BottomNavigationView), вы увидите, что он имеет жестко запрограммированную логику для горизонтального расположения макетов.
Я думаю, что вам лучше всего написать собственную реализацию "SideNavigationView" (например, расширить RadioGroup? - это первое, что приходит мне в голову).