Если вы хотите стрелку для кнопки, которая открывает поповер, вы можете просто поставить html для стрелки там.
<Button aria-describedby={id} variant="contained" color="primary" onClick={handleClick}>
Open Popover <img src="//path-for-arrow-image" />
</Button>
<Popover {...propsOfPopover}> {children} </Popover>