Используйте балку 2.6 с Flink 1.5.3 для запуска теста.Луч пробежал без проблем.Но не удалось запустить на кластере Flink.попробуйте оба mvn и flink, чтобы представить работу.когда я запускаю mvn, я использовал:
mvn clean package -Pflink-runner exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount -Dexec.args="--runner=FlinkRunner --flinkMaster=c2:6123 --filesToStage=target/word-count-beam-bundled-0.1.jar"
это вызывает проблему с блоком на Запрашивает порт сервера BLOB-объектов, и не может продолжить
Сен 21, 2018 11:47:38 org.apache.zookeeper.ClientCnxn $ SendThread logStartConnect INFO: Открытие подключения сокета к серверу 192.168.0.12/192.168.0.12:2181.Не будет пытаться аутентифицироваться с использованием SASL (неизвестная ошибка) 21 сентября 2018 11:47:38 org.apache.zookeeper.ClientCnxn $ SendThread primeConnection INFO: Сокет соединения, установленный для 192.168.0.12/192.168.0.12:2181, инициирование сеанса Sep21, 2018 11:47:38 org.apache.zookeeper.ClientCnxn $ SendThread onConnected INFO: Установление сеанса завершено на сервере 192.168.0.12/192.168.0.12:2181, sessionid = 0x165adfcdcd9104b, согласованное время ожидания = 90000 2018-09-21 11: 47: 38 INFO ConnectionManager $ HConnectionImplementation: 2155 - Закрытие главного протокола: MasterService 2018-09-21 11:47:38 INFO ConnectionManager $ HConnectionImplementation: 1712 - Закрытие zookeeper sessionid = 0x165adfcdcd9104b 21 сентября 2018 11:47:38 org.apache.zookeeper.ClientCnxn $ EventThread run INFO: EventThread завершил работу 21 сентября 2018 11:47:38 org.apache.zookeeper.ZooKeeper закрыть INFO: Сессия: 0x165adfcdcd9104b закрыта 21 сентября 2018 11:47:39 org.apache.flink.client.program.rest.RestClusterClient submitJob ИНФОРМАЦИЯ: Отправка job aa366f2bd4bff3ddab47c1a890c84256 (отсоединено: false).21 сентября 2018 11:47:39 org.apache.flink.client.program.rest.RestClusterClient submitJob INFO: Запрос порта сервера BLOB-объектов .
при использовании flink toотправить на работу напрямую, используя:
$FLINK_HOME/bin/flink run -c org.apache.beam.examples.WordCount target/test-beam-bundled-0.1.jar --runner=FlinkRunner --flinkMaster=c2:6123 --filesToStage=target/word-count-beam-bundled-0.1.jar
выдает следующее исключение:
Программа завершила со следующим исключением:
Невозможно создать экземпляр RemoteEnvironment, когдаработает в предопределенном контексте (например, клиент командной строки, оболочка Scala или TestEnvironment) org.apache.flink.api.java.RemoteEnvironment. (RemoteEnvironment.java:126) org.apache.flink.api.java.RemoteEnvironment. (RemoteEnvironment.java:86) org.apache.flink.api.java.ExecutionEnvironment.createRemoteEnvironment (ExecutionEnvironment.java:1168) org.apache.beam.runners.flink.FlinkExecutionEnvironments.createBatchExecutionEnvironment: FlinkExecution (or)apache.beam.runners.flink.FlinkPipelineExecutionEnvironment.translate (FlinkPipelineExecutionEnvironment.java:93) org.apache.beam.runners.flink.FlinkRunner.run (FlinkRunner.java:110) org.apache.beam.sdk.Pipeline.run (Pipeline.java:313) org.apache.beam.sdk.Pipeline.run (Pipeline.java:299)
Любая идея