загрузка динамического веб-контента через Scrapy (python 2.7) - PullRequest
0 голосов
/ 06 февраля 2012

Я вернулся к этому проекту (веб-очистка динамического контента) и закончил этот урок, однако не могу его завершить.

Я использую Python 2.7 с scrapy framework 0.14

В моем проекте получение данных, очевидно, является наиболее важным моментом, я начинаю понимать технику очисткисайты, которые загружают динамические данные с помощью ajax, однако в этом примере я не могу загрузить изображения.

Скребок запускается с помощью команды (в cmd.exe в Windows 7):

scrapy runspider nasa.py

но на самом деле это не такскачать что-нибудь (это только анализирует данные)

Я что-то упустил?Это первый настоящий программный проект, в котором я рискнул выйти на территорию для начинающих и, конечно, заблудился.

Это учебное пособие:

Очистка ajax с помощью Scrapy

Какой-нибудь совет относительно правильного кода, позволяющий сценарию загружать изображения в локальное хранилище?

Спасибо:)

1 Ответ

1 голос
/ 06 февраля 2012

в вашем setting.py

добавьте

IMAGES_STORE = 'you dir path where you want to download images'
ITEM_PIPELINES = ['scrapy.contrib.pipeline.images.ImagesPipeline'] #enable image pipline

в ваш элемент определения image_urls

добавьте изображения URL в image_urls # следует рассматривать как список в вашей программе

предлагаемое исследование

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...