Функция Spark Load Parquet -Порт с HDFS на S3 - PullRequest
0 голосов
/ 26 января 2020

У меня есть рабочий код в помещении, код искры загружает данные из местоположения hdfs.

Path = / events / register /

Когда я попробовал его на aws, указывая s3, я получил результирующий путь в виде строки 'hdfs' вместе с текущим ip машины ec2, предшествующим пути. Я использовал s3: //, s3a: // и s3n: // options.but тот же результат.

Любая помощь очень ценится.

...