Я чрезвычайно наивен, когда дело доходит до топи 1010 * скребущих сайтов. До этого момента я вручную просматривал или собирал данные из предварительно созданных наборов данных. Однако есть аналитическая проблема c, которую я хочу решить, проблема, которая из-за ее масштаба требует очистки. Поэтому я решил попытаться научиться скрести в python. Scrapy - это инструмент, который мне порекомендовали использовать, и именно этим я и буду пользоваться.
Я пытаюсь следовать руководству по загрузке моего первого проекта Scrapy, но столкнулся с проблемой. Когда я пытаюсь ввести код для запуска проекта в Spyder, чтобы начать новый проект:
import scrapy
$scrapy startproject ProjectName
я получаю следующую ошибку в консоли:
import scrapy
scrapy startproject ProjectName
File "<ipython-input-2-7c662bff7403>", line 1
scrapy startproject ProjectName
^SyntaxError: invalid syntax
Есть ли другой редактор или среда, в которой я должен работать Scrapy? Я попытался загрузить Scrapy с помощью команды ScrapyShell в терминале, но это кажется неэффективным подходом, поскольку я понятия не имею, как сохранить сценарии, которые я генерирую при запуске кода в терминале. Есть ли какой-нибудь пользовательский редактор для Scrapy, о котором я не знаю?