Можно ли использовать AbstractTransactionalJUnit4SpringContextTests в junit5?
Да, вы можете. Junit4 - минимальная требуемая версия. Обратите внимание, что AbstractTransactionalJUnit4SpringContextTests - это просто удобство, при котором хуки @Transactional делегируются JdbcTestUtils.
AbstractTransactionalJUnit4SpringContextTests
@Transactional
JdbcTestUtils