Почему код не может найти файл, указанный в пути AWS S3, когда я могу найти его вручную? - PullRequest
Новая
       7

Почему код не может найти файл, указанный в пути AWS S3, когда я могу найти его вручную?

0 голосов
/ 08 июня 2018

У меня есть корзина с именем my_bucket и папка в ней с именем Images.Я пытаюсь прочитать файлы (изображения) в папке Image. 

file = pd.read_csv(some_csv_file)
X = file.values[:,0]

role = get_execution_role()
bucket='my_bucket'
data_key = 'Images'
data_dir = 's3://{}/{}'.format(bucket, data_key)
s = '/'

for img_name in X:
    seq = (data_dir, img_name)
    img_path = s.join(seq)
    img = imread(img_path)

Но выдается следующая ошибка: 

---------------------------------------------------------------------------
FileNotFoundError                         Traceback (most recent call last)
<ipython-input-20-a273242ed30e> in <module>()
     43     img_path = s.join(seq)
     44     print(img_path)
---> 45     img = imread(img_path)
     46     img = imresize(img, (32, 32))
     47     img = img.astype('float32') # this will help us in later stage

~/anaconda3/envs/python3/lib/python3.6/site-packages/numpy/lib/utils.py in newfunc(*args, **kwds)
     99             """`arrayrange` is deprecated, use `arange` instead!"""
    100             warnings.warn(depdoc, DeprecationWarning, stacklevel=2)
--> 101             return func(*args, **kwds)
    102 
    103         newfunc = _set_function_name(newfunc, old_name)

~/anaconda3/envs/python3/lib/python3.6/site-packages/scipy/misc/pilutil.py in imread(name, flatten, mode)
    162     """
    163 
--> 164     im = Image.open(name)
    165     return fromimage(im, flatten=flatten, mode=mode)
    166 

~/anaconda3/envs/python3/lib/python3.6/site-packages/PIL/Image.py in open(fp, mode)
   2541 
   2542     if filename:
-> 2543         fp = builtins.open(filename, "rb")
   2544         exclusive_fp = True
   2545 

FileNotFoundError: [Errno 2] No such file or directory: 's3://my_bucket/Images/377.jpg'

377.jpg - первая строка вX.Я проверил вручную в хранилище S3;этот файл присутствует там.Итак, почему я получаю эту ошибку и как ее исправить?Единственная причина, по которой я могу придумать, заключается в том, что, возможно, процесс указания пути S3 неправильный, но в документации по S3 процесс указания хранилища задан как 's3://{}/{}'.format(bucket, data_key).Более того, в последней строке сообщения об ошибке имя файла - s3://my_bucket/Images/377.jpg, и это путь, по которому я перемещаюсь вручную, чтобы найти файл в корзине.

1 Ответ

0 голосов
/ 08 июня 2018

, если реализация в Python, используйте boto3.

Например, 

import boto3 
s3 = s3_session.client('s3')
object = s3.get_object(Bucket=bucket_names,Key=object_name)
objectContent = object['Body'].read()

См .: https://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Client.get_object

...