У меня есть простая установка DAG, которая состоит из двух шагов, первый из которых - EmrAddStepsOperator, содержащий один шаг, за которым следует EmrStepSensor, где параметр step_id настроен на возвращаемое значение EmrAddStepsOperator .
Я убедился, что параметр step_id правильно вставлен в задачу EmrStepSensor.
Проблема, с которой я сталкиваюсь, заключается в том, что EmrAddStepsOperator будет успешно завершен, но задача EmrStepSensor не будет выполнена со следующей ошибкой:
cryptography.exceptions.InvalidSignature: Signature did not match digest.
Похоже, что задача EmrStepSensor не может подключиться к AWS, но я не изменяю учетные данные между этими двумя задачами, поэтому я не уверен, что происходит. У кого-нибудь есть понимание? Я думаю, что я, вероятно, просто откажусь от этого подхода и напишу свой собственный оператор, чтобы добавить свои шаги в кластер EMR и подождать, пока шаги завершатся в рамках той же задачи.