Я пробовал эти два метода, но ни один из них не работает.
Метод первый: непосредственное изменение компонента Drawer.
<Drawer
style={{backgroundImage: url('../../public/images/sideList.jpg')}}>
<div>
<SideList/>
</div>
</Drawer>
Метод второй: добавление свойства background-image для вложенного div.
<Drawer>
<BackgroundImageDiv>
<SideList/>
</BackgroundImageDiv>
</Drawer>