В настоящее время у меня есть требование синхронизировать данные из apache direcotry ldap с любой из баз данных RDBMS (MySQL, PostgreSQL). Каталог приблизительно содержит несколько миллионов записей на данный момент и может расти в будущем. Каталог Ldap на данный момент является основным источником данных, но мотив состоит в том, чтобы иметь данные в реальном времени как в Ldap, так и в RDBMS, поскольку у нас есть план использовать RDBMS для аналитических целей в реальном времени.
Option1:
Думая об использовании весеннего облака потока данных. Исходное весеннее загрузочное приложение для чтения данных ldap, которые были изменены после последнего запуска синхронизации. Исходное приложение помещает данные в очередь (пока RabbitMQ). Sink - это еще одно приложение для весенней загрузки, которое собирает данные непосредственно из очереди и сохраняет их в СУБД Мы сможем лучше отслеживать и управлять заданиями процесса синхронизации, используя предложения панели инструментов весеннего облачного потока данных.
Option2:
Spring LdapTemplate помогает нам общаться с каталогом ldap в нашем приложении. Один из подходов - перехватывать вызовы ldapTemplate, где это применимо, и помещать данные в очередь, а затем промежуточное приложение считывает данные из очереди (RabbitMQ) и преобразует ответ ldap в требуемый формат, который можно обновить в СУБД СУБД.
Я новичок в Ldap и весеннем облачном потоке данных. Пока у меня есть только эти 2 подхода с учетом существующих технологий и системного ландшафта моего проекта. Любые другие предложения / подход действительно приветствуются. Заранее спасибо.