указание очереди YARN не по умолчанию в Azure Data Factory v1 - PullRequest
Новая
       38

указание очереди YARN не по умолчанию в Azure Data Factory v1

0 голосов
/ 28 июня 2019

У нас есть конвейер ADFv1 с действием типа HDInsightHive, который отправляет скрипт hive в кластер Hadoop HDIndight.Глядя на JSON для конвейера, похоже, нет никакого способа указать очередь YARN, в которую должно быть отправлено задание.

Таким образом, предполагается, что задание всегда должно быть отправлено в очередь по умолчанию.В документации ADFv1 я еще ничего не нашел, чтобы указать имя очереди (при условии, что мы на самом деле создадим больше очередей YARN в кластере, используя планировщик емкости).

Может ли кто-нибудь предоставить пример JSON для указания очереди YARN в действии, если это вообще возможно?Кроме того, мое требование специально для ADFv1, я также хотел бы знать, если это ограничение ADFv1, это исправлено в ADFv2?

1 Ответ

1 голос
/ 02 июля 2019

В настоящее время фабрика данных Azure не поддерживает отправку действия в определенную очередь.

Деятельность фабрики данных Azure всегда отправляется в очередь по умолчанию.

Я бы посоветовал вам проголосовать заидея, представленная другим клиентом Azure.

https://feedback.azure.com/forums/270578-data-factory/suggestions/32956186-hdinsightspark-activity-should-support-additional

Все отзывы, которыми вы делитесь на этих форумах, будут отслеживаться и анализироваться командами разработчиков Microsoft, отвечающими за создание Azure.

...