Icrawler работает только 1 раз после этого не работает - PullRequest
2 голосов
/ 17 марта 2020

Я искал сканер изображений в Google. а потом я нашел Icrawler. поэтому я просто следую до c, как использовать библиотеку Icrawler.

Мой код выглядит следующим образом

from icrawler.builtin import GoogleImageCrawler
import os


save_dir = os.path.join('..', '..', 'images')

google_crawler = GoogleImageCrawler(storage={'root_dir':save_dir})
google_crawler.crawl(keyword='cat', max_num=50)

, он работает только 1 раз после того, как он не работает. я ничего не изменил.

Этот код показывает мне следующее:

2020-03-17 22: 25: 38,151 - INFO - icrawler.crawler - начать сканирование ... 2020-03-17 22: 25: 38,151 - ИНФОРМАЦИЯ - icrawler.crawler - запуск 1 потоковых потоков ... 2020-03-17 22: 25: 38,162 - ИНФОРМАЦИЯ - icrawler.crawler - запуск 1 потоков анализаторов ... 2020- 03-17 22: 25: 38,162 - INFO - устройство подачи - thread feeder-001 выход 2020-03-17 22: 25: 38,162 - INFO - icrawler.crawler - запуск 1 потоков загрузчика ... 2020-03-17 22:25 : 38,901 - INFO - анализатор - страница результатов анализа https://www.google.com/search?q=cat&ijn=0&start=0&tbs=&tbm=isch 2020-03-17 22: 25: 41,003 - INFO - анализатор - больше нет URL-адресов страниц для анализатора потока-001 для анализа 2020-03-17 22: 25: 41,003 - INFO - анализатор - поток parser-001 выход 2020-03-17 22: 25: 43,163 - INFO - загрузчик - больше нет задачи загрузки для потока downloader-001 2020-03-17 22: 25: 43,163 - INFO - загрузчик - поток downloader-001 выход 2020-03-17 22: 25: 43,212 - INFO - icrawler.crawler - Задача сканирования выполнена!

Есть ли проблемы? или я поступаю неправильно?

1 Ответ

0 голосов
/ 18 марта 2020

[https://github.com/hellock/icrawler/issues/69#issuecomment -600007725] [1]

Я нашел способ, который может решить эту проблему! решение есть.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...