Apache Zeppelin Обновление до Flink 1.4.2

Question

Я пытался обновить Apache Zeppelin для использования Flink 1.4.2. Проверяя источник интерпретатора Flink Zeppelin, я не нашел ничего похожего на материалы с точки зрения версии Flink, поэтому я просто обновил версию Flink в файле pom до версии 1.4.2 и запустил новую сборку из исходного кода, которая неожиданно сработала. Запуская записную книжку примера Flink (или мой собственный потоковый пример), я получаю следующую ошибку, которую не могу правильно понять

org.apache.thrift.transport.TTransportException
at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:132)
at org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)
at org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:429)
at org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:318)
at org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:219)
at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:69)
at org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Client.recv_interpret(RemoteInterpreterService.java:274)
at org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Client.interpret(RemoteInterpreterService.java:258)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreter$4.call(RemoteInterpreter.java:233)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreter$4.call(RemoteInterpreter.java:229)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterProcess.callRemoteFunction(RemoteInterpreterProcess.java:135)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreter.interpret(RemoteInterpreter.java:228)
at org.apache.zeppelin.notebook.Paragraph.jobRun(Paragraph.java:437)
at org.apache.zeppelin.scheduler.Job.run(Job.java:183)
at org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner.run(RemoteScheduler.java:305)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)

Было бы здорово понять, как мы можем перейти на новейшую версию Flink в Zeppelin.

Answer 1

A недавняя тема в списке рассылки пользователей Flink рассказывает, как обновить Zeppelin для использования Flink 1.4.2. В электронном письме было изображение, которого нет в архиве, поэтому я включу соответствующую информацию здесь:

Вам необходимо установить два свойства в Zeppelin, которые указывают на менеджер заданий кластера flink, который будет использоваться сервером zeppelin:

jobmanager.rpc.host
jobmanager.rpc.port

Обратите внимание, что есть также свойства с именем host и port, но они не используются для этой цели.

И вам нужно будет собрать Zeppelin, используя профиль scala-2.11 и Flink 1.4.2.