Azure Поток данных (передача вывода одного потока данных другому в конвейере) - PullRequest
0 голосов
/ 15 апреля 2020

У меня есть требование, при котором я должен передать выходные данные преобразования выбора из одного потока данных (потока данных) в другой напрямую.

Пример:

  1. У меня есть поток данных с преобразованием SELECT в качестве заключительного шага.

  2. У меня есть другой поток данных, который должен принять вышеуказанный вывод преобразования SELECT в качестве ввода.

  3. В настоящее время я сохраняю вывод первого потока данных в таблицу и получаю данные из таблицы во втором потоке данных, выполнение которого занимает много времени. Я хочу избежать хранения в таблице.

Спасибо, Картик

1 Ответ

0 голосов
/ 15 апреля 2020

Потоки данных требуют, чтобы ваша логика c заканчивалась Sink, когда вы выполняете их из конвейера, поэтому вы должны сохранить свой вывод где-то в Azure. Следующая конвейерная операция может считываться из этого выходного набора данных.

...