Невозможно загрузить файл из блокнота sagemaker на S3 - PullRequest
Новая
       11

Невозможно загрузить файл из блокнота sagemaker на S3

4 голосов
/ 28 июня 2019

Я пытаюсь загрузить свои очищенные (и разделить данные с помощью kfold) на s3, чтобы я мог использовать sagemaker для создания модели, использующей его (поскольку sagemaker хочет файл s3 с данными обучения и тестирования). Однако всякий раз, когда я пытаюсь загрузить csv в s3, он запускается, но я не вижу файла в s3.

Я попытался изменить папку, к которой у меня есть доступ в sagemaker, или загрузить файлы разных типов, ни один из которых не работает. Кроме того, я безуспешно пробовал подходы в подобных постах переполнения стека.

Также обратите внимание, что я могу вручную загрузить свой csv в s3, но не через sagemaker автоматически.

Приведенный ниже код - это то, что я сейчас должен загрузить на s3, который я скопировал непосредственно из документации AWS для загрузки файлов с помощью sagemaker. 

import io
import csv
import boto3

#key = "{}/{}/examples".format(prefix,data_partition_name)
#url = 's3n://{}/{}'.format(bucket, key)
name = boto3.Session().resource('s3').Bucket('nc-demo-sagemaker').name
print(name)
boto3.Session().resource('s3').Bucket('nc-demo-sagemaker').upload_file('train', '/')
print('Done writing to {}'.format('sagemaker bucket'))

Я ожидаю, что при запуске этого фрагмента кода я смогу загрузить данные обучения и испытаний в папку, которую я хочу использовать при создании моделей Sagemaker.

Ответы [ 2 ]

0 голосов
/ 16 июля 2019

Импорт библиотеки sagemaker и использование сеанса sagemaker для загрузки и загрузки файлов в / из корзины s3. 

import sagemaker as sage
sage.session.s3_input
0 голосов
/ 30 июня 2019

Возможно, проблема связана с отсутствием надлежащих разрешений s3 для вашего ноутбука SageMaker.

Ваш пользователь IAM имеет роль с разрешениями, которая определяет, можете ли вы вручную загрузить CSV через консоль s3.

Ноутбуки SageMaker на самом деле имеют свою собственную роль IAM, что потребует явного добавления разрешений S3. Это можно увидеть в консоли SageMaker, для роли IAM по умолчанию предваряется SageMaker-XXX. Вы можете отредактировать эту созданную SageMaker роль IAM или присоединить существующие роли IAM, которые включают разрешения на чтение / запись для s3.

...