Я пишу программу Scala для загрузки файлов в openstack swift: hdfs://xxxx/user/me/2018_07_01/count.txt в swift://mycontainer.SparkTest/2018_07_01/count.txt.
hdfs://xxxx/user/me/2018_07_01/count.txt
swift://mycontainer.SparkTest/2018_07_01/count.txt
Я пробовал https://spark.apache.org/docs/2.2.0/storage-openstack-swift.html,, но она сгенерирует один каталог, который включает в себя _SUCCESSи part-0000-xxxx.gz в быстром контейнере.но мне нужно скопировать только один файл.
_SUCCESS
part-0000-xxxx.gz
Вышеуказанное основано на org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem из https://github.com/openstack/sahara-extra. Есть ли примеры использования API в https://github.com/openstack/sahara-extra для простой загрузки одного файла TXT вСвифт контейнер?
org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem
Спасибо