Azure запрос фабрики данных

Question

Случай: - есть один URL, в котором мне нужно выбрать один вход из раскрывающегося списка, другой вход из раскрывающегося списка, чтобы преобразовать некоторые данные, и еще один вход, чтобы выбрать данные в формате CSV, а затем нажать кнопку отправки, вывод генерируется в форме CSV, поэтому мне нужно автоматизировать этот процесс с помощью ADF.

Что я сделал: -Я использую веб-активность с действием копирования для загрузки данных URL с помощью метода POST в большой двоичный объект. Но на выходе я получаю полный HTTP-ответ страницы. Тем не менее, я также создал параметры для отображения, но это не сработало. Каково было бы решение получить только эти параметры для выбора данных в URL и получения только выбранных значений?

Answer 1

Фабрика данных не самая лучшая утилита для просмотра веб-страниц, это не является ее функцией в технологическом стеке.

То, что я обычно делаю, когда мне нужно получить данные с веб-сайта, это Azure Функциональное действие. Вы можете создать функцию Azure на любом языке по вашему вкусу (python,. net, java, powershell, node и т. Д. c), выполнять очистку веб-страниц и сохранять любые данные, которые вы хотите, в хранение больших двоичных объектов Затем вызовите функцию из фабрики данных с помощью Azure Function Activity.

Надеюсь, это помогло!