Загрузка данных в режиме реального времени из таблицы sql в индекс эластичности

Question

У нас есть процесс ETL, который загружает данные каждые 5 минут один раз из другой исходной системы (as400, orcale, sap и т. Д.) В нашу базу данных sqlserver, и оттуда мы вводим данные в эластичный индекс каждые 5 минут, чтобы оба синхронизировались. Я хотел сжать таймфрейм до секунд, а не 5 минут, и я хотел убедиться, что они оба синхронизированы все время.

Я использую таблицу контрольного журнала, чтобы убедиться, что эластичный прием и ETL SSIS не работают одновременно, так что мы можем потерять синхронизацию. что является очень плохим решением и не позволяет мне получать данные почти в реальном времени

Я ищу лучшее решение для синхронизации базы данных sqlserver и эластичного индекса практически в реальном времени, а не вручную.

Примечание. В настоящее время я использую скрипты python для перекачки данных из sql в индекс эластичности.

Answer 1

Один из подходов состоит в том, чтобы поток событий выходил из вашей базы данных или даже непосредственно из запуска пакета служб SSIS (который на самом деле проще реализовать), который напрямую попадает в ваш индекс упругого поиска. ELK обрабатывает потоковые файлы журналов, поэтому должен хорошо обрабатывать поток событий.