Azure конвейеры фабрики данных (отображение потоков данных), ошибка с внутренней ошибкой - PullRequest
0 голосов
/ 08 апреля 2020

Я использую Azure Data Factory, отображающий потоки данных для преобразования и перемещения данных из SQL баз данных в Synapse (Azure SQL Datawarehouse). Конвейер выполняет более 10 операций с потоками данных, большинство из которых завершается с ошибкой, приведенной ниже. Конвейеры выполняются для таблиц, в которых имеется небольшой объем данных (<10 тыс. Записей) или когда включена выборка, но не удается, когда я запускаю конвейер, запускающий полные данные (от 100 тыс. До 100 млн. Строк). </p>

Общая структура каждого потока данных:

  1. Два источника, A и B, которые Azure SQL Базы данных
  2. Для каждого источника выполните некоторые незначительные преобразования (объединение столбцов, преобразование типов et c.)
  3. Выполнить объединение A & B (после преобразований)
  4. Переименовать несколько столбцов и добавить новый столбец со значением по умолчанию
  5. Погрузиться в Synapse

Есть несколько дополнительных преобразований, таких как добавление столбцов. Документация Microsoft очень легкая, и мониторинг ADF не показывает, на каком преобразовании происходит сбой потока данных. Это проблема конфигурации, или потоки данных должны быть реструктурированы?

{"message":"111213;The current transaction has aborted, and any pending changes have been rolled back. Cause: 111208;An internal error occurred that prevents further processing of this command: 'The wait operation timed out' caused 'Execution Timeout Expired. The timeout period elapsed prior to completion of the operation or the server is not responding.' caused 'Failed to classify the current request into a workload group.'.. Details:111213;The current transaction has aborted, and any pending changes have been rolled back. Cause: 111208;An internal error occurred that prevents further processing of this command: 'The wait operation timed out' caused 'Execution Timeout Expired. The timeout period elapsed prior to completion of the operation or the server is not responding.' caused 'Failed to classify the current request into a workload group.'.","failureType":"UserError","target":"XXXX","errorCode":"DFExecutorUserError"}

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...