Я использую Flink1.6.1 и Hadoop2.7.5. сначала я начинаю моргать
bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 -d
затем отправьте задание
./bin/flink run ./examples/batch/WordCount.jar -input hdfs://CS-201:9000/LICENSE -output hdfs://CS-201:9000/wordcount-result.txt
Я получил ошибку:
[root @ CS-201 flink-1.6.1] # ./bin/flink run
./examples/batch/WordCount.jar -вход hdfs: // CS-201: 9000 / ЛИЦЕНЗИЯ
-output hdfs: // CS-201: 9000 / wordcount-result.txt 2019-05-19 15: 31: 11,357 ИНФОРМАЦИЯ org.apache.flink.yarn.cli.FlinkYarnSessionCli
- Найден файл свойств пряжи в /tmp/.yarn-properties-root. 2019-05-19 15: 31: 11,357 ИНФОРМАЦИЯ
org.apache.flink.yarn.cli.FlinkYarnSessionCli - найдено
Файл свойств пряжи в /tmp/.yarn-properties-root. 2019-05-19
15: 31: 11,737 ИНФОРМАЦИЯ org.apache.flink.yarn.cli.FlinkYarnSessionCli
- Свойства YARN устанавливают параллелизм по умолчанию на 2 2019-05-19 15: 31: 11,737 INFO org.apache.flink.yarn.cli.FlinkYarnSessionCli -
Свойства YARN устанавливают параллелизм по умолчанию равным 2 установленным свойствам YARN
параллелизм по умолчанию - 2 2019-05-19 15: 31: 11 777 ИНФОРМАЦИЯ
org.apache.hadoop.yarn.client.RMProxy -
Подключение к ResourceManager по CS-201 / 192.168.1.201: 8032 2019-05-19
15: 31: 11,887 ИНФОРМАЦИЯ org.apache.flink.yarn.cli.FlinkYarnSessionCli
- Путь к банке с кремнем не пройден. Использование местоположения класса org.apache.flink.yarn.YarnClusterDescriptor для нахождения jar
2019-05-19 15: 31: 11,887 ИНФОРМАЦИЯ
org.apache.flink.yarn.cli.FlinkYarnSessionCli - Нет
путь к фляге прошел. Используя местоположение класса
org.apache.flink.yarn.YarnClusterDescriptor, чтобы найти банку
2019-05-19 15: 31: 11 891 ПРЕДУПРЕЖДЕНИЕ
org.apache.flink.yarn.AbstractYarnClusterDescriptor -
Ни переменная окружения HADOOP_CONF_DIR, ни переменная среды YARN_CONF_DIR
Клиент Flink YARN должен быть правильно настроен
загрузите конфигурацию Hadoop для доступа к YARN. 2019-05-19
15: 31: 11,979 ИНФОРМАЦИЯ org.apache.flink.yarn.AbstractYarnClusterDescriptor
- Найдено имя хоста приложения JobManager 'cs-202' и порт '52389' из предоставленного идентификатора приложения 'application_1558248666499_0003' Запуск
выполнение программы
----------------------------------------------- ------------- Программа завершилась со следующим исключением:
org.apache.flink.client.program.ProgramInvocationException: не удалось
получить результат выполнения. (JobID:
471f0c2d047aba74ea621c5bfe782cbf) в
org.apache.flink.client.program.rest.RestClusterClient.submitJob (RestClusterClient.java:260)
в
org.apache.flink.client.program.ClusterClient.run (ClusterClient.java:486)
в
org.apache.flink.client.program.ClusterClient.run (ClusterClient.java:474)
в
org.apache.flink.client.program.ContextEnvironment.execute (ContextEnvironment.java:62)
в
org.apache.flink.examples.java.wordcount.WordCount.main (WordCount.java:85)
в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в
sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62)
в
sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43)
в java.lang.reflect.Method.invoke (Method.java:498) в
org.apache.flink.client.program.PackagedProgram.callMainMethod (PackagedProgram.java:529)
в
org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution (PackagedProgram.java:421)
в
org.apache.flink.client.program.ClusterClient.run (ClusterClient.java:426)
в
org.apache.flink.client.cli.CliFrontend.executeProgram (CliFrontend.java:804)
в
org.apache.flink.client.cli.CliFrontend.runProgram (CliFrontend.java:280)
в org.apache.flink.client.cli.CliFrontend.run (CliFrontend.java:215)
в
org.apache.flink.client.cli.CliFrontend.parseParameters (CliFrontend.java:1044)
в
org.apache.flink.client.cli.CliFrontend.lambda $ Основной $ 11 (CliFrontend.java:1120)
в java.security.AccessController.doPrivileged (собственный метод) вjavax.security.auth.Subject.doAs (Subject.java:422) в
org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1754)
в
org.apache.flink.runtime.security.HadoopSecurityContext.runSecured (HadoopSecurityContext.java:41)
в
org.apache.flink.client.cli.CliFrontend.main (CliFrontend.java:1120)
Вызывается: org.apache.flink.runtime.client.JobSubmissionException:
Не удалось отправить JobGraph. в
org.apache.flink.client.program.rest.RestClusterClient.lambda $ submitJob $ 8 (RestClusterClient.java:379)
в
java.util.concurrent.CompletableFuture.uniExceptionally (CompletableFuture.java:870)
в
java.util.concurrent.CompletableFuture $ UniExceptionally.tryFire (CompletableFuture.java:852)
в
java.util.concurrent.CompletableFuture.postComplete (CompletableFuture.java:474)
в
java.util.concurrent.CompletableFuture.completeExceptionally (CompletableFuture.java:1977)
в
org.apache.flink.runtime.concurrent.FutureUtils.lambda $ retryOperationWithDelay $ 5 (FutureUtils.java:213)
в
java.util.concurrent.CompletableFuture.uniWhenComplete (CompletableFuture.java:760)
в
java.util.concurrent.CompletableFuture $ UniWhenComplete.tryFire (CompletableFuture.java:736)
в
java.util.concurrent.CompletableFuture.postComplete (CompletableFuture.java:474)
в
java.util.concurrent.CompletableFuture.postFire (CompletableFuture.java:561)
в
java.util.concurrent.CompletableFuture $ UniCompose.tryFire (CompletableFuture.java:929)
в
java.util.concurrent.CompletableFuture $ Completion.run (CompletableFuture.java:442)
в
java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1149)
в
java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:624)
at java.lang.Thread.run (Thread.java:748) Причина:
java.util.concurrent.CompletionException:
org.apache.flink.runtime.concurrent.FutureUtils $ RetryException: Could
не завершить операцию. Исключение не повторяется. в
java.util.concurrent.CompletableFuture.encodeRelay (CompletableFuture.java:326)
в
java.util.concurrent.CompletableFuture.completeRelay (CompletableFuture.java:338)
в
java.util.concurrent.CompletableFuture.uniRelay (CompletableFuture.java:911)
в
java.util.concurrent.CompletableFuture $ UniRelay.tryFire (CompletableFuture.java:899)
... еще 12 причин:
org.apache.flink.runtime.concurrent.FutureUtils $ RetryException: Could
не завершить операцию. Исключение не повторяется. ... еще 10
Вызывается: java.util.concurrent.CompletionException:
org.apache.flink.runtime.rest.util.RestClientException: [Job
отправка не удалась.] в
java.util.concurrent.CompletableFuture.encodeRelay (CompletableFuture.java:326)
в
java.util.concurrent.CompletableFuture.completeRelay (CompletableFuture.java:338)
в
java.util.concurrent.CompletableFuture.uniRelay (CompletableFuture.java:911)
в
java.util.concurrent.CompletableFuture.uniCompose (CompletableFuture.java:953)
в
java.util.concurrent.CompletableFuture $ UniCompose.tryFire (CompletableFuture.java:926)
... еще 4 причины:
org.apache.flink.runtime.rest.util.RestClientException: [Job
отправка не удалась.] в
org.apache.flink.runtime.rest.RestClient.parseResponse (RestClient.java:310)
в
org.apache.flink.runtime.rest.RestClient.lambda $ submitRequest $ 3 (RestClient.java:294)
в
java.util.concurrent.CompletableFuture.uniCompose (CompletableFuture.java:952)
... еще 5
почему это случилось? и как это исправить ..