как провалить задание гоблина, как только одна задача завершится неудачей, все попытки - PullRequest
0 голосов
/ 08 января 2019

Я выполняю задания Gobblin как в кластерах AWS EMR, так и на серверах EC2. Рабочие места Гобблина поглощают данные Кафки. У меня есть задания Gobblin, настроенные на COMMIT_ON_FULL_SUCCESS. Иногда в течение короткого периода времени происходит сбой кафки, что приводит к сбою нескольких попыток задания Гобблина для всех попыток (в настоящее время установлено три попытки, которые происходят за относительно короткий промежуток времени). Но задание продолжает выполняться (возможно, в течение нескольких часов) до тех пор, пока все задания не будут завершены, и в этот момент задание не будет выполнено (не зафиксировано), поскольку оно настроено на принятие только при полном успехе. Есть ли способ заставить сбой задания Гобблина, как только одно задание не выполнит все попытки, так как задание на тот момент обречено на то, чтобы его не фиксировать? Или есть способ распределить повторы (скажем, более часа), чтобы повысить вероятность успеха после исправления ошибки Кафки?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...