Как правильно читать AWS Склеивать выходные файлы в пакетное преобразование TensorFlow на SageMaker

Question

У меня есть задание Glue, которое выводит файл .out в S3. Формат этого файла подходит для обучения модели TensorFlow на SageMaker (в режиме сценария), но я пытаюсь проанализировать эти данные при выполнении пакетного преобразования.

Я использую функции input_handler и output_handler как согласно предпочтительному подходу сценариев inference.py, который рекомендуется, но я не совсем уверен, должен ли я рассматривать файл .out как application / json, или text / csv, или как-то еще полностью.

Пример файла inference.py: https://github.com/awslabs/amazon-sagemaker-examples/blob/master/sagemaker_batch_transform/tensorflow_cifar-10_with_inference_script/code/inference.py

Answer 1

Что должен делать обработчик input_handler, зависит от формата данных файла .out.

Пакетное преобразование берет данные в этом файле .out, помещает их в полезную нагрузку запроса HTTP-запроса и отправляет это просьба к input_handler. Например, если ваш файл .out разделен строкой JSON, ваш обработчик input_handler должен читать данные из запроса так же, как он читает эти же данные из файла.

Пакет также может split данные определенными символами и отправлять куски или отдельные записи на сервер модели, и в этом случае ваш input_handler будет обрабатывать эти отдельные куски или записи.

Если вы знаете формат данных вашего формата .out, Вы можете не указывать тип содержимого в обработчике. Тип содержимого - строка, которую пакетное преобразование добавляет к запросам, чтобы позволить серверу модели переключать то, что он делает, на основе формата данных, но значение этой строки (будь то "application / json" или " application / foo ") не меняет поведение Batch или сервера модели.