Использование Scrapy для получения результатов поиска с форума

Question

Кто-нибудь может мне помочь?

Я пытаюсь использовать Scrapy для сбора результатов поиска по ключевому слову (например, 朝鲜） на этом форуме . Когда я использую панель поиска, я получаю список результатов, но затем попытка очистить их с помощью Scrapy на основе URL страницы результатов (http://bbs1.people.com.cn/quickSearch.do?field=title&threadtype=1&content=%E6%9C%9D%E9%B2%9C), похоже, не работает. Обычно это дает мне время. Есть ли способ решить эту проблему?

Если я попытаюсь очистить всю страницу результатов поиска, используя адрес вверху, страница будет выглядеть так:

Но потом, когда я вернусь к нему:

Я не могу понять, почему .... Огромное спасибо всем заранее кто может помочь!

Answer 1

Привет, друг, у меня есть ответ на твой вопрос:

Сначала тебе нужно будет получить информацию со страницы, используя код

fetch ("https://www.reddit.com/r/gameofthrones/ ")

и затем вам нужно будет извлечь информацию, чтобы вы могли просмотреть ее, а затем установить массивы, чтобы найти определенное ключевое слово, которое вы действительно хотели получить:

Для получения дополнительной информации или для лучшего понимания и оставшегося кода вы можете попасть на сайт: https://www.analyticsvidhya.com/blog/2017/07/web-scraping-in-python-using-scrapy/