Я бы не использовал react-testing-library
для этого.
Я бы проверил это в тесте E2E, например, с Cypress .
cy.title().should('eq', '<your-title>')
Мнение:
Лучшая практика - проверять свои компоненты и чистую логику, используя модульные тесты и побочные эффекты, а также взаимодействие с пользователем, используя сквозные тесты.