Как установить путь ведра в ноутбуке amazonsagemaker jupyter? - PullRequest
Новая
       10

Как установить путь ведра в ноутбуке amazonsagemaker jupyter?

0 голосов
/ 03 июля 2019

Я новичок в AWS, как установить путь к моей корзине и получить доступ к файлу этой корзины?

Что-нибудь, что мне нужно изменить с префиксом? 

import os
import boto3
import re
import copy
import time
from time import gmtime, strftime
from sagemaker import get_execution_role

role = get_execution_role()

region = boto3.Session().region_name

bucket='ltfs1' # Replace with your s3 bucket name
prefix = 'sagemaker/ltfs1' # Used as part of the path in the bucket where you store data
# bucket_path = 'https://s3-{}.amazonaws.com/{}'.format(region,bucket) # The URL to access the bucket

Я использую приведенный выше код, но он показывает файл не найден ошибка

Ответы [ 2 ]

0 голосов
/ 16 июля 2019

Вам необходимо использовать «sage.session.s3_input», чтобы указать местоположение сегмента s3, где присутствуют данные обучения.

Ниже приведен пример кода: 

import sagemaker as sage
from sagemaker import get_execution_role

role = get_execution_role()
sess = sage.Session()

bucket= 'dev.xxxx.sagemaker'
prefix="EstimatorName"

s3_training_file_location = "s3://{}/csv".format(bucket) 
data_location_config = sage.session.s3_input(s3_data=s3_training_file_location, content_type="csv")

output_path="s3://{}/{}".format(bucket,prefix)


account = sess.boto_session.client('sts').get_caller_identity()['Account']
region = sess.boto_session.region_name
image = '{}.dkr.ecr.{}.amazonaws.com/CustomEstimator:latest'.format(account, region)
print(image) 
# xxxxxx.dkr.ecr.us-heast-1.amazonaws.com/CustomEstimator:latest

tree = sage.estimator.Estimator(image,
                       role, 1, 'ml.c4.2xlarge',
                       base_job_name='CustomJobName',
                       code_location=output_path,
                       output_path=output_path,
                       sagemaker_session=sess)

tree.fit(data_location_config)
0 голосов
/ 03 июля 2019

Если файл, к которому вы обращаетесь, находится в корневом каталоге вашей корзины s3, вы можете получить доступ к файлу следующим образом: 

import pandas as pd

bucket='ltfs1'
data_key = 'data.csv'
data_location = 's3://{}/{}'.format(bucket, data_key)
training_data = pd.read_csv(data_location)
...