Как загрузить данные в s3 без установки Had oop и установки библиотек dll - PullRequest
1 голос
/ 15 апреля 2020

Как загрузить данные паркета в s3 без установки Had oop и без установки библиотек dll (например, для Windows), без HADOOP_HOME?

Какие зависимости необходимо использовать в java проекте?

Теперь я использовал

org.apache.hadoop-hadoop-common 3.2.1
org.apache.hadoop-hadoop-aws 3.2.1

1 Ответ

0 голосов
/ 17 апреля 2020

Если бы oop потребовался доступ к базовой файловой системе для создания файлов tmp. Для этого родные библиотеки являются обязательными, независимо от операционной системы.

Для Windows Вам потребуются файлы winutils.exe и hadoop.dll. Если эти библиотеки отсутствуют, произойдет сбой oop или приложения, построенного на основе oop.

В дополнение к этим зависимостям для доступа к файловой системе S3 вам потребуется aws-java-sdk-bundle JAR.

...