Может ли Луиджи запускать удаленные задания Hadoop?

Question

Если одна из задач в графе Luigi должна выполняться на удаленном кластере Hadoop, возможно ли это? Машина, на которой работает Луиджи, отличается от кластера Hadoop. Может ли luigi проверить, существует ли файл HDFS в удаленном кластере?

Я пытался найти документацию для этого, но не смог.

Answer 1

Вы можете запустить задание, запускающее любой сценарий.

Целевая документация HDFS находится здесь:

https://luigi.readthedocs.io/en/stable/api/luigi.contrib.hdfs.html

https://luigi.readthedocs.io/en/stable/api/luigi.contrib.hdfs.target.html