Клиенты, которые могут загружать URL-адреса в любое время в базу данных, и приложение должно обрабатывать URL-адреса как можно скорее.Поэтому мне нужно периодически запускать задания hadoop или автоматически запускать задание hadoop из другого приложения (любой скрипт идентифицирует новые ссылки, генерирует данные для задания hadoop и запускает задание).Для сценариев PHP или Python я мог бы настроить cronjob, но что лучше всего использовать для периодических заданий hadoop (подготовить данные для hadoop, загрузить данные, запустить задание hadoop и переместить данные обратно в базу данных?