AWS Datapipeline Отменено исключение задачи после 5 дней работы - PullRequest
Новая
       41

AWS Datapipeline Отменено исключение задачи после 5 дней работы

0 голосов
/ 04 декабря 2018

Я пытался запустить конвейер данных AWS, который вызывает процесс bash, который вызывает несколько длительных процессов python и java из командного действия оболочки.Каждый раз, когда выполняется действие команды оболочки, в отчетах «Выполнитель задач» появляется ошибка reportProgress ровно через 5 дней, и задача отменяется.Эта проблема сохранялась даже после того, как я установил для полей tryTimeout и LateAfterTimeout значение больше 5 дней.Сообщение журнала выполнения задач и определение json контура данных показаны ниже:

Снимок экрана ошибки выполнения конвейера

СООБЩЕНИЕ ЖУРНАЛА ЗАДАЧИ ЗАДАЧИ: 

01 Dec 2018 18:55:05,693 https://forums.aws.amazon.com/ (HeartBeatService-df-01341812NWJEQ1FAYI1K-@ShellCommandActivityId_UdTMC_2018-11-26T18:54:03_Attempt=1) amazonaws.datapipeline.taskrunner.HeartBeatService: HeartBeatService DataPipeline reportProgress error thrown and workCancelleddf-01341812NWJEQ1FAYI1K-@ShellCommandActivityId_UdTMC_2018-11-26T18:54:03_Attempt=1 
amazonaws.datapipeline.taskrunner.CanceledTaskException: DataPipeline service requested this work be canceled.
at amazonaws.datapipeline.taskrunner.DataPipelineProgressReporter.reportProgress*(DataPipelineProgressReporter.java:31)

… 

01 Dec 2018 18:55:06,726 https://forums.aws.amazon.com/ (TaskRunnerService-wg-10000-2) amazonaws.datapipeline.taskrunner.TaskPoller: Work ShellCommandActivity took 7201:0 to complete

ОПРЕДЕЛЕНИЕ JSON ТРУБОПРОВОДА 

{
"objects": [
{
"failureAndRerunMode": "CASCADE",
"resourceRole": "DataPipelineDefaultResourceRole",
"role": "DataPipelineDefaultRole",
"pipelineLogUri": "s3://oobhuntoo1/",
"scheduleType": "ONDEMAND",
"name": "Default",
"id": "Default"
},
{
"onLateAction": {
"ref": "ActionId_V6bq0"
},
"lateAfterTimeout": "7 Days",
"name": "DefaultShellCommandActivity1",
"id": "ShellCommandActivityId_UdTMC",
"workerGroup": "wg-10000",
"type": "ShellCommandActivity",
"command": "python ~/AWS_5day_Test/Python/Layer1.py"
},
{
"name": "DefaultAction1",
"id": "ActionId_V6bq0",
"type": "Terminate"
}
],
"parameters": []
}
...