отправка задания flink org. apache .flink.runtime.messages.FlinkJobNotFoundException: не удалось найти задание Flink - PullRequest
Новая
       8

отправка задания flink org. apache .flink.runtime.messages.FlinkJobNotFoundException: не удалось найти задание Flink

0 голосов
/ 19 марта 2020

Получая следующую ошибку отправки задания flink, 

@centos1 flink-1.10.0]$ ./bin/flink run -m 10.0.2.4:8081 ./examples/batch/WordCount.jar --input file:///storage/flink-1.10.0/test.txt --output file:///storage/flink-1.10.0/wordcount_out
Job has been submitted with JobID 33d489aee848401e08c425b053c854f9

------------------------------------------------------------
 The program finished with the following exception:

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: org.apache.flink.runtime.rest.util.RestClientException: [org.apache.flink.runtime.rest.handler.RestHandlerException: org.apache.flink.runtime.messages.FlinkJobNotFoundException: Could not find Flink job (33d489aee848401e08c425b053c854f9)

.... 

    Caused by: java.util.concurrent.CompletionException: org.apache.flink.runtime.messages.FlinkJobNotFoundException: Could not find Flink job (33d489aee848401e08c425b053c854f9)
Caused by: org.apache.flink.runtime.messages.FlinkJobNotFoundException: Could not find Flink job (33d489aee848401e08c425b053c854f9)
        at org.apache.flink.runtime.dispatcher.Dispatcher.getJobMasterGatewayFuture(Dispatcher.java:776)
        at org.apache.flink.runtime.dispatcher.Dispatcher.requestJobStatus(Dispatcher.java:505)
        ... 27 more
]

регистрирует с узлов диспетчера задач: говорят, что файл не найден .. Это правильный путь указывать файлы в настройке кластера flink. 

2020-03-19 13:15:29,843 ERROR org.apache.flink.runtime.operators.BatchTask                  - Error in task code:  CHAIN DataSource (at main(WordCount.java:69) (org.apache.flink.api.java.io.TextInputFormat)) -> FlatMap (FlatMap at main(WordCount.java:84)) -> Combine (SUM(1), at main(WordCount.java:87) (1/2)
java.io.IOException: Error opening the Input Split file:/storage/flink-1.10.0/test.txt [0,19]: /storage/flink-1.10.0/test.txt (No such file or directory)
        at org.apache.flink.api.common.io.FileInputFormat.open(FileInputFormat.java:824)
        at org.apache.flink.api.common.io.DelimitedInputFormat.open(DelimitedInputFormat.java:470)

как устранить вышеуказанную ошибку, что проверить, очень меньше подсказок в журналах flink

1 Ответ

1 голос
/ 23 апреля 2020

Причина, по которой это происходит, заключается в том, что вы отправляете задание в распределенном кластере, а указанное вами местоположение, возможно, доступно только Job manager или компьютеру, с которого вы отправили задание. Однако фактическое выполнение программы и задания происходит в Task Manager. Лучшим подходом для этого было бы указать местоположение, доступное для всех узлов, может быть HDFS или NFS.

...