Я только что узнал о Apache Кафке. Мой текущий ETL работает в пакетном режиме, и теперь я хочу, чтобы он выполнялся в потоковом процессе, чтобы данные, используемые для отчетов, всегда были актуальными. Насколько я понимаю, я могу использовать коннектор MongoDB для захвата изменений данных из mongodb, а затем их отправки на kafka topi c. Но в моем ETL мне нужно сохранить данные после обработки в базе данных SQL. Как и где я могу обработать данные, отправленные с mongodb на топи c, а затем создать из них запись в другую базу данных? Могу ли я использовать лямбда-функцию AWS для обработки и создания записи? Но тогда как я могу вызвать эту функцию из кафки?