AWS Sagemaker - Либо учебный канал пуст, либо размер мини-партии слишком велик - PullRequest
0 голосов
/ 03 июня 2019

Я пытаюсь обучить линейную модель ученика в Sagemaker. Мой учебный набор состоит из 422 строк, разделенных на 4 файла на AWS S3. Размер мини-партии, который я установил, равен 50.

Я продолжаю получать эту ошибку в Sagemaker.

Ошибка клиента: данные обучения не обработаны. Либо обучение Канал пуст или размер мини-пакета слишком велик. Подтвердите это учебные данные содержат непустые файлы, а размер мини-пакета меньше чем количество записей на хост обучения.

Я использую этот InputDataConfig

InputDataConfig=[
            {
                'ChannelName': 'train',
                'DataSource': {
                    'S3DataSource': {
                        'S3DataType': 'S3Prefix',
                        'S3Uri': 's3://MY_S3_BUCKET/REST_OF_PREFIX/exported/',
                        'S3DataDistributionType': 'FullyReplicated'
                    }
                },
                'ContentType': 'text/csv',
                'CompressionType': 'Gzip'
            }
        ],

Я не уверен, что я здесь делаю неправильно. Я попытался увеличить количество записей до 5547495, разделенных на 6 файлов. Та же ошибка. Это заставляет меня думать, что как-то в самом конфиге чего-то не хватает. Из-за чего, кажется, учебного канала просто нет. Я попытался изменить «тренировка» на «тренировку», так как это сообщение erorr. Но тогда я получил

Ошибка клиента: невозможно инициализировать алгоритм. Не удалось проверить конфигурация входных данных. (вызвано ValidationError)

Вызвано: {u'training ': {u'TrainingInputMode': u'Pipe ', u'ContentType ': u'text / csv', u'RecordWrapperType ': u'None', u'S3DistributionType ': u'FullyReplicated'}} недопустим ни для одного из данные схемы

Я вернулся на тренировку, потому что, похоже, это то, что нужно. Но что я делаю не так с этим?

1 Ответ

3 голосов
/ 03 июня 2019

Нашел проблему. CompressionType упоминался как «Gzip», но я изменил фактический файл, чтобы он не был сжат при выполнении экспорта. Как только я изменил его на «Нет», обучение прошло гладко.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...