отбросьте ответ, который будет загружен из события ajax

Question

Я использую инструмент scrapy для удаления содержимого с веб-сайта, мне, ребята, нужна помощь, как удалить ответ, который динамически загружается из ajax.

когда загрузка контента из ajax в это среднее время, URL-адрес не меняется, он остается прежним, но контент будет изменен, поэтому в этом случае мне нужно сканировать.

спасибо, Г.кавираджан

Answer 1

yield FormRequest('http://addons.prestashop.com/en/modules/featureproduct/ajax-homefeatured.php',
        formdata={'type':'new','ajax':'1'},
        callback=self.your_callback_method)

Answer 2

ниже приведены URL-адреса, которые вы можете легко поймать, используя fiddler или firebug

это для избранной вкладки http://addons.prestashop.com/en/modules/featureproduct/ajax-homefeatured.php?ajax=1&type=random

это для новой вкладки http://addons.prestashop.com/en/modules/featureproduct/ajax-homefeatured.php?ajax=1&type=new

вы можете запросить эти URL-адреса напрямую, чтобы получить требуемые результаты, хотя веб-сайт использует POST запрос для получения данных по этим URL-адресам, но я попытался с параметром GET запрос также работает нормально