У меня есть скрипт spark-scala, который я запускаю в spark-shell
spark2-shell -i test.scala
Работает нормально.Любые предложения о том, как я могу запланировать выполнение этого скрипта каждый час, могут быть полезны.
На самом деле, это не связано с искрой, так как для этого нет встроенного механизма.
Вы можете рассмотреть возможность использования cron, подобного этому
0 * * * * spark2-shell -i test.scala
, или вы также можете захотетьиспользуйте oozie, который немного сложнее, но намного проще в обслуживании, если у вас есть много заданий на запуск
https://oozie.apache.org/docs/3.1.3-incubating/index.html