Scrapy: запланированное сканирование с логикой sqlite - PullRequest
0 голосов
/ 27 января 2019

Я пытаюсь создать скребок, который будет проверять изменения каждые 1 час, сохранять информацию о новых элементах в sqlite lib и, если найден новый элемент, отправлять электронную почту.Скорее, я новичок в изучении скрапа.

У меня есть рабочий паук с загрузчиком предметов, и я получаю словари с подробной информацией о каждом предмете.Все предметы расположены на одной странице.Там около 20-30 элементов, но максимальное изменение каждые наши доходит до 5 пунктов.Мне нужна помощь в разработке логики для этого.До сих пор я думал: подключиться, сделать цикл for range (5) и проверить, находится ли item ['id'] в db.Если да, то дальше.Если нет - напишите письмо.Это хороший подход для проверки изменений?Пожалуйста, совет по логике

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...