Активировать значение параметра передачи данных Dipapipeline

Question

Полная картина: в Datapipeline есть процесс ETL, и нам нужно, чтобы пользователи обновляли некоторые элементы по требованию, но мы не можем обновить всю базу данных, потому что это дорого.

Первоначально предлагаемое решение заключается в запуске AWS DataPipeline через API.Можно ли активировать конвейер с некоторым параметром?

API и конвейер уже существуют, так что это было бы решением с меньшими усилиями.В любом случае, если у вас есть предложения по этому делу, я был бы признателен.

Спасибо за пожелания!

Answer 1

Вы можете передавать значения параметров в конвейер при его активации.Например, из документации Ruby SDK для метода activ_pipeline :

resp = client.activate_pipeline({
  pipeline_id: "id", # required
  parameter_values: [
    {
      id: "fieldNameString", # required
      string_value: "fieldStringValue", # required
    },
  ],
  start_timestamp: Time.now,
})

Значения, отправленные таким образом, будут иметь приоритет над значениями, определенными при создании конвейера.

Итакесли в вашем конвейере есть параметр с именем my_last_update_time, вы можете указать для него значение в аргументе parameter_values, и таким образом он может отличаться при каждом запуске конвейера.CLI и Java SDK имеют одинаковый механизм.