Фабрика данных Azure: событие не запускает конвейер - PullRequest
0 голосов
/ 02 июля 2018

Я настроил конвейер фабрики данных Azure, содержащий операцию копирования. В целях тестирования источником и приемником являются хранилища BLOB-объектов Azure.

Я не хочу выполнять конвейер, как только новый файл будет создан в исходном хранилище BLOB-объектов Azure.

Я создал триггер типа BlovEventsTrigger. Путь к BLOB-объекту начинается с //

Я использую Cloud Storage Explorer для загрузки файлов, но он не запускает мой конвейер. Чтобы получить представление о том, что не так, как я могу проверить, происходит ли событие? Есть идеи, что может быть не так?

Спасибо

Ответы [ 3 ]

0 голосов
/ 03 июля 2018

Повторение того, что заявили другие:

  • Должно быть, используется учетная запись хранения V2
  • Имя триггера должно содержать только буквы, цифры и символ «-» (это ограничение скоро будет снято)
  • Должен быть зарегистрированную подписку у провайдера Event Grid (это скоро будет сделано через UX)
  • Триггер делает доступными следующие свойства @triggerBody().folderPath и @triggerBody().fileName. Чтобы использовать их в вашем конвейере, вы должны сопоставить их с параметрами конвейера и использовать их следующим образом: @pipeline().parameters.paramaetername.

Наконец, в зависимости от настроек конфигурации путь к BLOB-файлу начинается с *, 1016 * не будет соответствовать ни одному событию BLOB-объекта. UX фактически покажет вам сообщение об ошибке, говорящее, что это значение недопустимо. Пожалуйста, обратитесь к документации Event Based Trigger для примеров правильной конфигурации.

0 голосов
/ 02 августа 2018

Кажется, есть ошибка с триггером хранилища BLOB-объектов: если у вас есть более одного триггера, выделенного одному и тому же контейнеру BLOB-объектов, ни один из триггеров не сработает.

По некоторым причинам (другая ошибка, но на этот раз на фабриках данных?), Если вы несколько раз редактируете свой триггер в окнах фабрики данных, кажется, что фабрика данных теряет отслеживание триггеров, которые она создает, и ваш единственный триггер может в итоге создайте несколько дублирующих триггеров в хранилище BLOB-объектов. Это условие активирует первую ошибку, описанную выше: триггер хранилища BLOB-объектов больше не срабатывает.

Чтобы исправить это, удалите дубликаты триггеров. Для этого перейдите к ресурсу хранилища больших двоичных объектов на портале Azure. Перейти к лезвию событий. Оттуда вы увидите все триггеры, которые фабрики данных добавили в ваше хранилище больших двоичных объектов. Удалить дубликаты. enter image description here

0 голосов
/ 02 июля 2018

Пожалуйста, укажите это. Во-первых, это должно быть хранилище v2. Во-вторых, вам нужно зарегистрировать его в сетке событий. https://social.msdn.microsoft.com/Forums/azure/en-US/db332ac9-2753-4a14-be5f-d23d60ff2164/azure-data-factorys-event-trigger-for-pipeline-not-working-for-blob-creation-deletion-most-of-the?forum=AzureDataFactory

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...