Будет ли Crawler переиндексировать записи после удаления - PullRequest
0 голосов
/ 07 января 2019

Работа на Storm Crawler 1.12.1 и Elastic Search 6.5.2. Мне нужно увеличить эффективность моей поисковой системы. Я удалил некоторые документы по соображениям безопасности после индексации документов в режиме эластичного поиска. Таким образом, мой вопрос заключается в том, что сканер штормов будет перехватывать удаленные URL-адреса и снова переиндексировать? Я не хочу повторно сканировать удаленные записи. Как этого добиться?

1 Ответ

0 голосов
/ 07 января 2019

Я полагаю, вы удалили документы из индекса содержимого. Они, вероятно, все еще находятся в индексе состояния, и даже если их нет, они могут быть заново обнаружены и добавлены обратно.

Лучше всего было бы добавить новые записи в зависимости от того, какой тип URL-фильтров вы используете, чтобы эти URL-адреса были покрыты. Таким образом, они не будут добавлены обратно при повторном обнаружении, а затем будут удалены из индекса состояния.

...