Управление зависимостями библиотек Flink Job при развертывании из Apache Zeppelin - PullRequest
0 голосов
/ 03 декабря 2018

Я использую Zeppelin 0.7.3 с Flink 1.4.2 в режиме кластера.Мое задание Flink зависит от сторонних библиотек (Flink CEP, Джексон json и т. Д.), И когда я запускаю записную книжку, я получаю ClassNotFoundException на стороне задачи Flink, хотя я настроил зависимости интерпретатора Flink от упомянутых библиотек.

Это нормально, поскольку Flink имеет зависимости только от основных библиотек (https://ci.apache.org/projects/flink/flink-docs-stable/start/dependencies.html). К сожалению, по умолчанию Zeppelin Flink Interpreter не упаковывает все зависимости в переданном jar-файле, поэтому мы получили исключение ClassNotFoundException

Поэтому я хотел бы спросить вас, как я могу настроить интерпретатор Flink для отправки в кластер Flink всех необходимых сторонних зависимостей? Существует ли какая-либо аналогичная переменная среды, такая как SPARK_SUBMIT_OPTIONS? Или% flink.dep?

...