Почему данные не могут быть удалены в друид?

Question

Мы используем Druid в качестве базы данных временных рядов, и у нас есть случай, когда некоторые данные из него необходимо удалить.

Я знаю, что мы не можем запустить операцию прямого удаления, и сама технология не предназначена для этого

Какими способами это возможно?

Answer 1

Обычно это выполняется путем переиндексации сегмента с помощью фильтра.

Если вы используете ingestSegmentFirehose, вы можете непосредственно переиндексировать данные, а с помощью фильтра вы можете удалять строки.

http://druid.io/docs/latest/ingestion/firehose.html#ingestsegmentfirehose

Answer 2

То, как друид хранит данные и работает, не позволяет ему удалять определенные строки данных, вместо этого удаление может быть выполнено на уровне сегмента.Поэтому, если у вас есть способ сегментировать ваши данные, которые могут быть удалены в будущем, вы можете соответствующим образом настроить свои фрагменты и запустить задачу удаления.

Другой способ - использовать правила загрузки, чтобы не загружать определенные сегменты или наборы данных на основепо некоторым правилам, хотя данные все еще существуют в глубоком хранилище.