Какие есть варианты для синхронизации данных БД Oracle с индексами ElasticSearch v7.0 ?
БД - это БД Oracle. Данные БД будут включать несколько бизнес-объектов, каждый из которых является результатом объединения нескольких таблиц. Я посмотрел на плагин logstash jdbc. Некоторые проблемы с logstash (или требования не обрабатываются):
- Удаленные строки таблицы БД не могут быть идентифицированы и удалены из индекса ElasticSearch.
- Ни одна из таблиц БД в моем текущем продукте не имеет столбца LastUpdatedTimestamp. Это означает, что jstbc-плагин logstash должен всегда выполнять полное сканирование таблицы и полную переиндексацию. Инкрементные обновления невозможны.
- Logstash не предоставляет API для приостановки jbdc-плагина или запуска jdbc-плагина по требованию.