Как я могу запланировать скрипт pyspark на почасовой основе в среде Linux

Question

У меня есть один сценарий pyspark, и я хочу, чтобы этот сценарий выполнялся ежечасно, то есть после каждого часа выполнения сценария. Как я могу выполнить этот скрипт на почасовой основе.

Я много искал, но ничего не получил.

Answer 1

Вы можете использовать любой из следующих подходов

1. https://developer.ibm.com/hadoop/2017/06/30/scheduling-spark-job-written-pyspark-sparkr-yarn-oozie/
2. https://github.com/pinterest/pinball
3. cron tab
4. http://airflow.apache.org/scheduler.html