Использование aws.s3 :: get_bucket_df () возвращает ошибки при попытке получить метаданные сегмента? - PullRequest
Новая
       41

Использование aws.s3 :: get_bucket_df () возвращает ошибки при попытке получить метаданные сегмента?

0 голосов
/ 25 февраля 2019

У меня есть репозиторий на S3: 

my_bucket:
    folder1
      subfolder11
        subfolder111
    folder2
      subfolder21
       subfolder221

Я пытаюсь подключиться и загрузить все файлы во все соответствующие папки в моем ведре.Вот как я пытаюсь это сделать: 

library(aws.s3)
bl <- bucketlist()

### Builds a dataframe of the files in a bucket###
dfBucket <- get_bucket_df(bucket = "my_bucket", prefix = "folder1/", max = Inf)

Я получаю следующую ошибку:

Ошибка в z [["Владелец"]] [["ID"]]: нижний индекс за пределами границ

Пожалуйста, сообщите.

ОБНОВЛЕНИЕ: на самом деле я могу запустить эту команду в других сегментах, и проблема заключается в том, что очень длинные имена файлов хранятся в этом конкретном файле.ведро в S3.

Посоветуйте, пожалуйста, как его решить, учитывая новую информацию.

1 Ответ

0 голосов
/ 25 февраля 2019

Решено с помощью rbindlist(dfBucket).

В моем случае get_bucket() сработало и вернул список содержимого корзины.

get_bucket_df() вернуло ошибку:

Ошибка в z [["Владелец"]] [["ID"]]: индекс за пределами границ

Я попытался выяснить, что может решить мою проблему, и использовал rbindlist который решил мою проблему.

Те, кто комментировал и критиковал мой ответ, я совершенно не согласен.Если вы знаете, как решить, пожалуйста, поделитесь своим ответом.Не профессионально бросать критиков, не предлагая решения!

...