Число узлов в пакетном пуле Azure при запуске исполняемого файла из фабрики данных Azure

Question

У нас есть конвейер ADF, который запускает 3 других конвейера, которые запускают тот же исполняемый файл, используя тот же пакетный пул Azure. Большую часть времени исполняемый файл выполняется успешно. Однако в некоторых случаях конвейер зависает до запуска исполняемого файла.

Обратите внимание, что все 3 конвейера используют один и тот же пакетный пул Azure.

• Исполняемый файл не имеет параллелизма, поэтому количество узлов имеет значение? Должно ли быть хотя бы 3 узла?

• Есть ли проблема с конвейерами, использующими тот же пакетный пул Azure? Должны ли они использовать разные пулы?

Спасибо

Мехмет

Answer 1

Я мог бы попытаться ответить на 2 вопроса из моей шляпы Batch: (Надеюсь, это даст вам идею провести некоторую отладку для более детальной идентификации)

• Исполняемый файл не имеет параллелизма, поэтому количество узлов имеет значение? Должно ли быть хотя бы 3 узла?

  • Нет, количество узлов не ограничивает никакую концепцию параллелизма в Batch. AFAIK, и я не уверен, откуда упоминаются 3 узла, но так ли это, что с 3 узлами у вас работает сценарий?
  • ErrorHandling : Пока концептуальный код хорошо управляется, если есть какое-либо исключение из BatchException или FailureInfo с в BatchErrors, будет выдвигаться для пользователя. например https://docs.microsoft.com/en-us/azure/batch/batch-task-fail-event или https://docs.microsoft.com/en-us/rest/api/batchservice/batch-status-and-error-codes
  • С узлов вы всегда можете получить сервисные журналы: https://docs.microsoft.com/en-us/rest/api/batchservice/computenode/uploadbatchservicelogs
  • Каково состояние узла, когда ваша параллельная задача зависает?

• Есть ли проблема с конвейерами, использующими тот же пакетный пул Azure? Должны ли они использовать разные пулы?

  • Нет, AFAIK. Я бы порекомендовал детализировать ваш сценарий, если вы видите что-то конкретное.

Поскольку его узел кода пытается запустить, я бы порекомендовал установить точку отладки и проверить журнал сервиса, чтобы определить поведение запуска кода пользователя.

Спасибо