Я бы хотел отладить проект maven, реализованный Java и Scala и Spark. Проект запускается как конвейер в AirFlow. Каждый файл java является задачей с функцией main () в DAG AirFlow. Требуется доступ к некоторым файлам, расположенным в AWS / s3.
В Intellij Idea CE имеется около 15 java исходных файлов.
Я не уверен, как отладить код из IntelliJ на моем ноутбуке.
Я думаю, что для моего ноутбука может быть проблема с доступом к AWS / S3 и Spark с моего ноутбука.
Кроме того, это хороший способ переопределить каждую задачу DAG в AirFlow с каждым файлом Java как блокнот на кирпичах данных? Затем я создаю новую DAG AirFlow на своем ноутбуке и запускаю задачи (ноутбук) по одному на кирпичах данных (на них установлена Spark), которые могут получить доступ к AWS / S3?
Я не знаю, какой из них является более осуществимым и эффективным.
Или есть другие лучшие способы работы с ним?
спасибо