Загрузка файлов S3 в Google Colab - PullRequest
3 голосов
/ 01 мая 2020

Я работаю над проектом, и случается, что некоторые данные предоставляются в форме S3fileSystem. Я могу прочитать эти данные, используя S3FileSystem.open (путь) . Но существует более 360 файлов, и для чтения одного файла требуется не менее 3 минут. Мне было интересно, есть ли способ загрузить эти файлы в мою систему и прочитать их оттуда, вместо чтения непосредственно из S3fileSystem. Есть и другая причина, хотя я могу прочитать все эти файлы, но после того, как мой сеанс на colab переподключится, мне придется снова перечитать все эти файлы, поэтому это займет много времени. Я использую следующий код для чтения файлов

fs_s3 = s3fs.S3FileSystem(anon=True)
s3path = 'file_name'
remote_file_obj = fs_s3.open(s3path, mode='rb')
ds = xr.open_dataset(remote_file_obj, engine= 'h5netcdf')

Можно ли загрузить эти файлы?

1 Ответ

1 голос
/ 02 мая 2020

Вы можете использовать другой s3fs для монтирования корзины, а затем скопировать файлы в Colab.

как монтировать

После монтирования вы можете

!cp /s3/yourfile.zip /content/
...