Оболочка scrapy не может найти объект ответа - PullRequest
Новая
       37

Оболочка scrapy не может найти объект ответа

0 голосов
/ 16 июня 2020

Я новичок в Scrapy и пытаюсь следовать этому руководству (https://www.pythongasm.com/introduction-to-scrapy/), чтобы узнать об этом.

Я очистил эту страницу (https://newyork.craigslist.org/d/real-estate/search/rea) с помощью команды fetch, но когда я набрал view (response), мне выдали следующую ошибку: 

>>> view(response)
Start : this command could not be executed due to error: the system could not find the specified file.
In line:1 character:1
+ Start "file:///tmp/tmppjvn5nzf.html"
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : InvalidOperation: (:) [Start-Process], InvalidOperationException
    + FullyQualifiedErrorId : InvalidOperationException,Microsoft.PowerShell.Commands.StartProcessCommand

Когда я проверил file:///tmp/tmppjvn5nzf.html, я увидел, что информация со страницы была извлечена, но она не была назначена объекту ответа.

Вы знаете, как я могу решить эту проблему?

1 Ответ

0 голосов
/ 17 июня 2020

вы должны попробовать запустить команду 

scrapy shell https://newyork.craigslist.org/d/real-estate/search/rea

, которая должна дать вам сообщение: 

2020-06-17 13:05:02 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://newyork.craigslist.org/d/real-estate/search/rea> (referer: None)

в вашем терминале. Затем, чтобы проверить, что это работает, введите что-то вроде: 

response.css('.result-hood::text').getall()

, чтобы получить все местоположения в списке домов. Вы должны иметь возможность заставить это работать довольно просто, если у вас есть какие-либо проблемы, я бы рекомендовал посмотреть обучающие материалы YouTube из https://www.youtube.com/user/eupendras. Это очень хорошо объясненные руководства, которые медленно проведут вас через изучение Scrapy.

...