Флинк не читает файл из S3 при работе в EC2 - PullRequest
Новая
       10

Флинк не читает файл из S3 при работе в EC2

0 голосов
/ 17 мая 2018

У меня есть несколько данных в S3 внутри корзины.Я пытался запустить свою программу Flink в экземпляре EC2.У меня есть роль IAM в EC2 и я могу читать данные с S3.Но когда я запускаю программу, я получаю следующую ошибку:

Submitting job with JobID: 445b8130e310bcb791afff2301c40b16. Waiting for job completion. No JobSubmissionResult returned, please make sure you called ExecutionEnvironment.execute()

Моя программа имеет env.execute() в конце программы.Я почти уверен, что он не может получить / прочитать файлы с S3.Мой код выглядит следующим образом:

DataSet<Tuple2<String, String>> datalines=env.readCsvFile("s3://CopyOfData/Days/") .fieldDelimiter("|") .types(String.class, String.class);

Пожалуйста, помогите мне, как преодолеть это.Мой flink-conf.yaml также имеет набор HADOOP_CONF_DIR.

1 Ответ

0 голосов
/ 17 мая 2018

Я бы начал с проверки журналов JobManager и TaskManager на наличие подсказок. Вы также можете просмотреть этот список распространенных проблем для Flink на AWS .

Также может потребоваться увеличить akka.client.timeout. См. этот вопрос , но вкратце попробуйте добавить что-то вроде akka.client.timeout: 600 s в flink-conf.yaml.

...