Загрузите более 1000 изображений с помощью BingImageCrawler в icrawler - PullRequest
1 голос
/ 13 апреля 2020

Я пытаюсь загрузить 3000 изображений для каждого ключевого слова, используя BingImageCrawler, но меня обрезают на <1000 изображений для каждого ключевого слова. В документации написано <code>To crawl more than 1000 images with a single keyword, we can specify different date ranges. Это легко работает для GoogleImageCrawler, потому что он поддерживает набор диапазонов дат, но BingImageCrawler не поддерживает (поддерживает только «pastday», «pastweek», «pastmonth», «pastyear»).

Как установить конфиги такой, что я могу получить более 1000 изображений на ключевое слово? Кроме того, если мне нужно сделать несколько запросов для каждого ключевого слова, как я могу установить фильтр даты, чтобы я получал непересекающиеся изображения? (Использование любых двух значений: «pastday», «pastweek», «pastmonth», «pastyear» всегда приводит к наложению изображений).

...