Полагаю, это может быть связано с проблемой квоты кластера dataproc. Когда конвейер запускается в облачном хранилище данных, профиль по умолчанию раскручивает кластер dataproc с x числом рабочих узлов. Это было по умолчанию до 10 на некоторое время. Это может быть источником проблемы для этого сбоя, но потребуется дополнительная информация для подтверждения, если это так.
@ Сафиюр пару вопросов,
- Не могли бы вы сказать мне, когда этот экземпляр был запущен?
- Чтобы проверить, перед запуском конвейера вы можете настроить профиль на 3 рабочих узла. Это необходимо для того, чтобы убедиться, что это даже является причиной сбоя (Конфигурировать -> Вычислить конфигурацию -> Настроить)
- Не могли бы вы также проверить журналы главной службы, чтобы увидеть (Cloud Data Fusion -> System Admin), если есть какие-либо ошибки, связанные с работой конвейера?
- Не могли бы также указать, какие правила брандмауэра вы добавили? (Это основано на документах
Примечание:
Во время работы конвейера операция резко останавливается без какого-либо
сообщение об ошибке в логах.
Исходя из этого, я предполагаю, что это логи конвейера, о которых вы говорите.