Web Crawler - приложение для Windows - PullRequest
2 голосов
/ 21 марта 2019

Я хотел бы создать веб-сканер с пользовательским интерфейсом, который позволит пользователям вводить серию номеров деталей, а затем сканер будет просматривать около 6 URL-адресов (сайтов производителей / поставщиков) и извлекать значение Qty In Stockдля этой части и оповещения, если она обновляется до 1+ (часто те части, которые мы ищем, сидят на складе в течение нескольких недель)

Я смотрел в Scrapy и пытался реализовать это на нашем сервере, покапонимая, что он никогда не будет работать на общем сервере, который мы используем через HostGator, так как они не позволяют установку Python или GCC.

Следующим вариантом было использование Scrapy Cloud, но из того, что я читаюПохоже, мне придется вручную обновлять пауков каждый раз, когда нужно будет сканировать другой номер детали.

Есть ли способ (на основе приложения Windows или на основе веб-приложения), который позволяет пользователю вводить разные номера деталей, отправлять эти номера деталей в файл JSON (паук) и сканировать «На складе»значение и вернуть его?

1 Ответ

0 голосов
/ 21 марта 2019

Вы можете загрузить Part Numbers в виде файла JSON и переопределить метод start_requests, чтобы запросить его.В этом случае вам нужно запустить запросы на обход внутри метода * 1003. *база данных.Что-то вроде Python Scrapy - заполнить start_urls из mysql

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...