можем ли мы передать динамическую c переменную в aws пошаговые функции при выполнении?

Question

Я использую пошаговые функции data science SDK using python. У меня есть задача, которая выполняется каждый день, и путь к данным, к которым должен быть получен доступ на определенных этапах пошаговых функций, продолжает меняться каждый день, так как у него есть параметр даты.

Как я могу передать параметр даты, когда я выполняю пошаговую функцию и использую ее для автоматического доступа к новым данным каждый день.

Это пример шага, который я добавляю в рабочий процесс.

etl_step = steps.GlueStartJobRunStep(
    'Extract, Transform, Load',
    parameters={"JobName": execution_input['GlueJobName'],
                "Arguments":{
                    '--S3_SOURCE': data_source,
                    '--S3_DEST': 's3a://{}/{}/'.format(bucket, project_name),
                    '--TRAIN_KEY': train_prefix + '/',
                    '--VAL_KEY': val_prefix +'/'}
               }
)

Я хочу добавить переменную даты в S3_DEST. Если я использую execute_input, тип не является строкой, поэтому я не могу объединить его для пути.

Answer 1

Edit

Если дата является объектом datetime, вы можете использовать datetime.strftime ('% Y-% m-% d') `для вывода его в виде строки .

Исходный

Шаговые функции поддерживают ввод в них.

Если вы используете SDK для start_execution , тогда вы можете использовать входной параметр.

Если у вас есть событие CloudWatch, вы можете указать константу из консоли.

введите описание изображения здесь