Вы выпустили GET и проанализировали его результат, просто отлично.Но вы не попросили окончательный документ, который вы хотите.Вы попросили начальный загрузчик, который запускает отложенную загрузку некоторых веб-пакетов JS.
Если вы можете сопоставить исходный URL-адрес с последним документом, который вас интересует, напишите функцию для этого.В противном случае, если вам нужна помощь в интерпретации логики сайта с помощью javascript, чтобы найти окончательный URL, вы можете прибегнуть к Selenium .