У меня есть эта архитектура на AWS:
- EC2 работает Airflow
- EMR кластер (livy, jupyterhub, spark, hive ...)
Так что мне нужно прокрутить ноутбуки Jupyter для работы в кластере EMR, но я не могу этого сделать.
Я пробовал на бумажной фабрике, но работал локально в экземпляре воздушного потока. Я попытался с livysparkoperator и вызов бумажной фабрики в .py, который запускает кластер emr, но не работает.