Как открыть модельный tar-файл, хранящийся в корзине S3, в блокноте sagemaker? - PullRequest
Новая
       10

Как открыть модельный tar-файл, хранящийся в корзине S3, в блокноте sagemaker?

1 голос
/ 05 февраля 2020

Я знаю, что загрузить файл .csv в блокнот sagemaker из корзины S3 довольно просто, но я хочу загрузить файл model.tar.gz, хранящийся в корзине S3. Я пытался сделать следующее 

import botocore 
import sagemaker
from sagemaker import get_execution_role
from sagemaker.predictor import csv_serializer
import boto3

sm_client = boto3.client(service_name='sagemaker')
runtime_sm_client = boto3.client(service_name='sagemaker-runtime')

s3 = boto3.resource('s3')
s3_client = boto3.client('s3')

sagemaker_session = sagemaker.Session()
role = get_execution_role()

ACCOUNT_ID  = boto3.client('sts').get_caller_identity()['Account']
REGION      = boto3.Session().region_name
BUCKET      = 'sagemaker.prismade.net'
data_key    = 'DEMO_MME_ANN/multi_model_artifacts/axel.tar.gz'
loc = 's3://{}/{}'.format(BUCKET, data_key)
print(loc)
with tarfile.open(loc) as tar:
    tar.extractall(path='.')

Я получаю следующую ошибку: 

--------------------------------------------------------------------------
FileNotFoundError                         Traceback (most recent call last)
<ipython-input-215-bfdddac71b95> in <module>()
     20 loc = 's3://{}/{}'.format(BUCKET, data_key)
     21 print(loc)
---> 22 with tarfile.open(loc) as tar:
     23     tar.extractall(path='.')

~/anaconda3/envs/python3/lib/python3.6/tarfile.py in open(cls, name, mode, fileobj, bufsize, **kwargs)
   1567                     saved_pos = fileobj.tell()
   1568                 try:
-> 1569                     return func(name, "r", fileobj, **kwargs)
   1570                 except (ReadError, CompressionError):
   1571                     if fileobj is not None:

~/anaconda3/envs/python3/lib/python3.6/tarfile.py in gzopen(cls, name, mode, fileobj, compresslevel, **kwargs)
   1632 
   1633         try:
-> 1634             fileobj = gzip.GzipFile(name, mode + "b", compresslevel, fileobj)
   1635         except OSError:
   1636             if fileobj is not None and mode == 'r':

~/anaconda3/envs/python3/lib/python3.6/gzip.py in __init__(self, filename, mode, compresslevel, fileobj, mtime)
    161             mode += 'b'
    162         if fileobj is None:
--> 163             fileobj = self.myfileobj = builtins.open(filename, mode or 'rb')
    164         if filename is None:
    165             filename = getattr(fileobj, 'name', '')

FileNotFoundError: [Errno 2] No such file or directory: 's3://sagemaker.prismade.net/DEMO_MME_ANN/multi_model_artifacts/axel.tar.gz'

В чем здесь ошибка и как я могу выполнить sh this?

1 Ответ

1 голос
/ 06 февраля 2020

Не каждая python библиотека, предназначенная для работы с файловой системой (в данном примере tarfile.open), знает, как читать объект из S3 как файл.

Простой способ решить эту проблему - сначала скопировать объект в локальную файловую систему в виде файла. 

import boto3

s3 = boto3.client('s3')
s3.download_file('BUCKET_NAME', 'OBJECT_NAME', 'FILE_NAME')
...