Я пытаюсь очистить веб-динамическую страницу, но с scrapy я не получаю всю информацию, потому что информация, которую я хочу, является динамической.
Я пытался использовать Selenium, но в отличие от Scrapy, вы не можете указать заголовки, и сайт блокирует меня.(Я не могу назвать сайт, потому что это незаконно, но это хорошо известный движок метапоиска путешествий ...).У меня есть страница с решателем капчи (повторная капча так сложно решить с помощью скрипта), потому что веб-сайт определяет меня как бота.
Я хочу иметь всю динамическую информацию и иметь доступ к веб-сайту, но невозможно с селеном, и скрап не дает мне всю необходимую информацию, и я думаю, что это потому, что страница загружается не полностью, когдаскрап читай.