Как узнать URI hdfs

Question

Как я могу определить URI, к которому подключаются мои hdfs dfs команды?

Есть ли какой-либо файл конфигурации, в котором хранится URI, или какие-либо команды, которые можно использовать для его отображения?

Я безуспешно изучал документацию FileSystemShell и dfsadmin . (Кроме того, у меня нет доступа к большинству команд dfsadmin.)

Когда я вызываю команду с помощью hdfs:///user/myUserName/..., выдается исключение:

Exception in thread "main" java.io.IOException: Incomplete HDFS URI, no host: hdfs:///user/myUserName/test.avro
        at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:136)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2591)
        at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:89)
        at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2625)
        at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2607)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:368)
        at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296)
        at org.apache.avro.mapred.FsInput.<init>(FsInput.java:38)
        at org.apache.avro.tool.Util.openSeekableFromFS(Util.java:110)
        at org.apache.avro.tool.DataFileGetSchemaTool.run(DataFileGetSchemaTool.java:47)
        at org.apache.avro.tool.Main.run(Main.java:87)
        at org.apache.avro.tool.Main.main(Main.java:76)

Простые команды, такие как hdfs dfs -ls работают нормально.

Используя Had oop 3.1.0.

Answer 1

Если у вас есть доступ к файлу core-site.xml, вы можете найти значение, присвоенное свойству fs.defaultFS

$ grep -A 2 defaultFS /etc/hadoop/conf/core-site.xml
    <name>fs.defaultFS</name>
    <value>hdfs://bigdataserver-2.internal.cloudapp.net:8020</value>
  </property>

Примечание: я использую Cloudera, а core-site.xml - это где i получить детали. Для Had oop у вас может быть core-default.xml

Проверьте это: https://hadoop.apache.org/docs/r2.8.5/hadoop-project-dist/hadoop-common/core-default.xml