Есть ли способ подключиться к среде aws, чтобы загрузить искровой вывод в корзину s3 при локальном запуске с использованием anaconda?

Question

Мы можем сделать это, используя Dev Endpoint в клее aws, но мне было интересно узнать, можно ли перенести вычисленные с помощью spark данные (при локальном / автономном режиме) на s3, используя anaconda, добавив зависимости winutils spark и hadoop.

Answer 1

Если вы можете заставить вашу локальную систему общаться с разъемом s3a, тогда да.

Но: я бы не стал использовать S3 как прямое назначение работы в локальной системе, потому что производительность была бы ужасной, и потребовалось бы много усилий, чтобы начать работать.

Лучшеиспользовать локальную ФС в качестве пункта назначения, а затем загрузить его после.Для этого используется множество инструментов, в том числе те, которые поставляются с приложением командной строки aws от самого AWS.Вы должны просто быть в состоянии использовать это, чтобы сделать это.И если вы можете сделать это в командной строке, вы можете использовать exec () для вызова этого в вашем коде

aws s3 cp ~/work/generated s3://mybucket/results  --recursive