У нас есть много сайтов, которые обновляются, добавляются и удаляются.Мне любопытно, как Stormcrawler обрабатывает сайт с URL-адресом, который ранее был «FETCHED», когда в следующий раз, когда SC достигает его, он был удален и генерирует перенаправление или 404. Что происходит с контентом, который поступил изстарая версия страницы в индексе «Index»?
Я знаю, что URL в индексе «Status», вероятно, меняется на «REDIRECTION» или «FETCH ERROR» или что-то еще, но как насчет самого контента??Это удалено?Это осталось?Я пытаюсь выяснить, как SC реагирует здесь, и если мне придется работать над очисткой этих потерянных документов в индексе «Index».
Я бы ожидал, что SC удалит содержимое, если его больше нет, ноЯ думал, что попрошу быть уверенным.