Я ищу какую-то технологию с открытым исходным кодом, которая позволила бы мне создавать запланированную пакетную обработку (например, запрашивать каждые 1 час некоторую БД SQL, такую как Oracle, и вставлять в Kafka. Возможно, что какое-то преобразование будет выполнено с даннымимежду). Дело в том, что мне нужно иметь возможность транспортировать большой объем данных («большие данные»).
Я читал, например, об Apache Airflow, но он не подходит для большого объема данных.
Какие еще технологии я могу использовать для этой цели?