Java Opensource ETL Framework с автоматическим планированием

Question

Я работаю над анализом данных файла и загрузкой в ​​базу данных, и этот анализ должен повторяться каждые 5 минут. Существует ли какая-либо платформа Java ETL, которая поддерживает автоматическое планирование заданий.

Я подвергся воздействию Talend. Но нет автоматического планирования работы. Моя цель - составить расписание разбора файлов jar на каждые 5 минут. Я не могу зависеть от crontab или планировщика Windows. Может кто-нибудь подсказать мне, есть ли какая-нибудь платформа Java ETL с открытым исходным кодом с функцией автоматического планирования заданий.

Спасибо и С уважением, Гопал

Answer 1

Используйте Дженкинс. Большинство людей используют его для развертывания и сборки программного обеспечения, но, честно говоря, это действительно супер хрон. Идеально подходит для периодических работ. Для ETL используйте то, что вы считаете лучшим: Talend, Clover, Pentaho, язык сценариев и т. Д. Просто убедитесь, что все, что вы упаковываете, может быть запущено из командной строки, чтобы вы могли использовать Jenkins.

Answer 2

CloverETL с сервером также имеет некоторые расписания заданий.

Возможно, вы можете использовать Jenkins для планирования заданий Talend.(Звучит безумно, но я недавно прочитал статью об использовании Дженкинса в качестве инструмента планирования;))

Answer 3

Безумный и, возможно, слишком сложный = смукс + кварц

Answer 4

Jaspersoft ETL обеспечивает планирование заданий.Поскольку он основан на Talend, вам не составит труда обойти его.