Вероятно, проблема TTFB (время до первого байта) - вашему серверу требуется много времени для генерации HTML страницы и отправки ее в качестве ответа на запрос. Между тем, когда HTML уже отправлен - все файлы и изображения js загружаются достаточно быстро, как вы описали. Там просто эта «задержка между переключением страниц».
Это может быть вызвано множеством факторов, я рекомендую прочитать глубокую статью, чтобы понять все нюансы, например: https://kinsta.com/learn/page-speed/
Но вкратце, Первый и самый надежный способ сократить скорость загрузки вашей страницы в описанной ситуации - использовать кэширование страниц. Вы можете использовать https://uk.wordpress.org/plugins/w3-total-cache/ бесплатный плагин в качестве первого шага.
Управляемый хостинг WP со встроенным кэшированием был бы еще лучше, но цены начинаются с 30 $ в месяц, если это работает для вас.