Что происходит после того, как задание на удаление будет удалено, прежде чем оно будет стерто - PullRequest
1 голос
/ 10 июня 2019

В Scrapy Cloud значение job может быть deleted.Сначала его состояние изменится, но будут доступны данные - элементы данных, job.metadata, items.stats.В чем конкретно заключается процесс удаления?Как скоро все данные будут удалены?

1 Ответ

2 голосов
/ 11 июня 2019

Удаление заданий в Scrapy Cloud - это асинхронный процесс: сначала задания просто помечаются как удаленные со всеми доступными данными, а затем удаляются на стороне сервера через 7 дней (с использованием задания cron).Это реализовано таким образом, чтобы иметь последний шанс восстановить ошибочно удаленные задания или сохранить некоторые важные данные.

Кроме того, очистка в контексте относится только к данным задания (запросы / элементы / журналы / образцы), в то время какметаданные и статистика заданий на данный момент хранятся неопределенно долго (хотя вы не должны полагаться на это, политика может быть пересмотрена в любой момент).

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...