Можно ли использовать один параметр в другом в AWS Data Pipeline?

Question

Текущая настройка:

Существует источник основных данных, который содержит записи о посещаемости в день для учащихся данной школы.Представьте, что данные структурированы в формате CSV следующим образом:

name | day | in_attendance

jack | 01/01/2018 | 0

и т. Д. И т. Д.на протяжении всего года.Теперь способ получения информации о посещаемости за определенный период времени заключается в том, чтобы указать год и месяц с помощью параметров, которые мы передаем на этап конвейера данных AWS, например:

myAttendanceLookupStep: PYTHON=python34,s3://school_attendance_lookup.py,01,2018

этот шаг запускает определенный файл Python, а 01 и 2018 указывают месяц и год, который мы ищем.Однако я хочу изменить это так, чтобы оно выглядело примерно так:

myAttendanceLookupStep: PYTHON=python34,s3://school_attendance_lookup.py,%myYear,%myMonth myYear: 2018 myMonth: 01

Есть ли способ достичь такого поведения в AWS Data Pipeline?

Answer 1

Оказывается, синтаксис, который я использовал в примере, был недалеко от правильного синтаксиса.Вы можете использовать предоставленные параметры в любой части конвейера (действия и т. Д.) - вы делаете #{myParameterName} вместо того места, куда будет идти параметр.

Это не отражено в документации по конвейеру данных AWS.