Как собрать полный код html из "инструментов разработчика" в Chrome?

Question

Я пытаюсь очистить многие части многих веб-сайтов, для l oop.

Я попробовал BeautifulSoup и Selenium, но он не вернул всю нужную часть html. На самом деле результат, полученный мной от

soup = BeautifulSoup(src, 'lxml')

или других анализаторов, не совпадает с полным кодом html, который я видел в «Инструментах разработчика» в Chrome

Поэтому вместо этого я пытаюсь очистить код из «Инструментов разработчика», и мне нравится копировать полный код html в «Инструментарии разработчика» после входа на сайт.

Как это сделать? Было бы полезно, если бы вы могли привести код, например.

Заранее спасибо.

Answer 1

Selenium должен отображать точно такие же данные

Если веб-сайт динамически изменяется с течением времени из-за различных функций Javascript, тогда вы ничего не можете сделать, кроме как периодически делать новые запросы для захвата снимков этого состояния.

BeautifulSoup не загружается Javascript