Автоматическое удаление извлеченных записей при возникновении ошибки Fetch_Error с интеграцией solr и storm crawler

Question

У меня есть Solr и Storm Crawler интегрированы. Мне нужно обработать удаление документа из индекса Solr после того, как статус FETCH_ERROR преобразуется в ОШИБКУ после ряда последовательных попыток, которые сейчас не происходят. Я читал, что в случае упругого поиска у нас есть AbstractStatusUpdaterBolt и DeletionBolt, чтобы позаботиться об этом. Есть ли у нас аналогичные болты удаления для интеграции Solr, которые на самом деле вместе с StatusUpdaterBolt могут удалить запись из индекса Solr? Любое направление поможет. Спасибо.

Answer 1

В настоящее время в StormCrawler 1.15 у нас нет DeletionBolt для SOLR. Написание не должно быть слишком сложным, вы можете использовать один для ES в качестве примера. Лог c отправки кортежей в поток удаления уже обрабатывается болтом AbstractStatusUpdater, поэтому на этом фронте делать нечего.

Не стесняйтесь открывать вопрос, чтобы попросить добавить его, или еще лучше, если можете, отправьте запрос на извлечение.