Я использую скрапбуки для сбора информации с определенных веб-сайтов и планирую запускать ее каждые 24 часа.
Данные хранятся в БД Динамо.И у меня есть приложение с загрузочной пружиной, которое отправляет запрос в aws на данные, которые оно очищает, и передает их в мой собственный исходный интерфейс.
Теперь проблема в том, что я боюсь, что паук будет сканировать что-то неправильно, если сайт немного изменился.Я ищу механизм, который будет уведомлять меня (например, посылать мне электронное письмо), когда паук сталкивается с проблемой при очистке веб-сайта или останавливается, чтобы очистить его и поместить в базу данных и испортить все.
Поскольку я все еще изучаю веб-скребинг, и я не уверен, является ли моя идея разумной или нет, если уже есть зрелое решение / механизм для решения аналогичной проблемы.
Заранее спасибо.