Как я могу предоставить значения параметров / аргументов во время выполнения через файл для CDAP pipleline

Question

Как добавить параметр / аргументы времени выполнения в конвейер CDAP.

Мы можем установить параметры во всех узлах Transforms, Source и Target и вручную ввести значения во время выполнения в средах Datafusion.

Однако в производственных средах я хотел бы, чтобы файл параметров передавал значения в конвейер, как мне добиться этой функциональности.

В документации CDAP я не нахожу ничего полезного в отношении аргументов времени выполнения. Я новичок в datafusion и не очень знаком с интерфейсом. Если на этот вопрос уже дан ответ, перенаправление в ветку также будет полезно

Answer 1

При запуске конвейера вы можете указать аргументы времени выполнения в виде JSON карты в теле запроса.

Во-первых, ваш конвейер должен содержать макросы поиска свойств, которые задокументированы здесь . Например, определение конвейера json может содержать следующую конфигурацию для подключаемого модуля BigQuery Sink (для краткости удалены окружающие поля):

  {
    "name": "BigQuerySink",
    "plugin": {
      "properties": {
        "table": "${bqsink_table}"
      }
    },

Затем при запуске конвейера вы можете указать значение ( s) для макросов, как указано здесь .

В этом примере вы отправите запрос POST на v3/namespaces/<namespace-id>/apps/<app-id>/workflows/DataPipelineWorkflow/start с телом запроса:

{ "bqsink_table": "myTable" }