Режим сценария SageMaker + режим конвейера

Question

Я тренируюсь в SageMaker, используя TensorFlow + Script Mode и в настоящее время использую режим ввода «Файл» для моих данных.

Кто-нибудь выяснил, как передавать данные с использованием формата данных «Pipe» в сочетании со ScriptРежим тренировки?

Answer 1

Вы можете импортировать sagemaker_tensorflow из обучающего скрипта следующим образом:

from sagemaker_tensorflow import PipeModeDataset
from tensorflow.contrib.data import map_and_batch

channel = 'my-pipe-channel-name'

ds = PipeModeDataset(channel)
ds = ds.repeat(EPOCHS)
ds = ds.prefetch(PREFETCH_SIZE)
ds = ds.apply(map_and_batch(parse, batch_size=BATCH_SIZE,
                            num_parallel_batches=NUM_PARALLEL_BATCHES))

Полный пример вы можете найти здесь: https://github.com/awslabs/amazon-sagemaker-examples/blob/master/sagemaker-python-sdk/tensorflow_pipemode_example/pipemode.py

Вы можете найти документацию по sagemaker_tensorflow здесь https://github.com/aws/sagemaker-tensorflow-extensions#using-the-pipemodedataset