Существует проблема построения системы на основе стека RDBMS / Kafka / Ni-Fi / Sqoop / Hadoop-Hive. Цель состоит в том, чтобы организовать миграцию данных из RDBMS в Hive.Мы хотим использовать Ni-Fi в качестве инструмента для получения метаинформации о таблицах от Kafka, а затем передать эти метаданные (обычно это просто имя таблицы) в сценарий sqoop, чтобы начать процесс миграции.Таким образом, проблема заключается в том, чтобы получить метаинформацию о таблицах СУБД (в нашем случае MySQL), а затем перетащить ее в тему Kafka.
Это хорошее решение?Я искал в Интернете и нашел статьи о потоковой передаче данных из RDBMS в KAFKA, но нет информации о получении только метаданных из RDBMS.И необходимо использовать Ni-Fi, мы не можем удалить его из нашего технологического стека.