Как файлы в HDFS и в локальных файловых системах ext4 соответствуют друг другу? - PullRequest
Новая
       10

Как файлы в HDFS и в локальных файловых системах ext4 соответствуют друг другу?

0 голосов
/ 14 мая 2019

Как файлы в HDFS и в локальных файловых системах ext4 соответствуют друг другу?

Согласно Нужно ли создавать / tmp и / user / hive / warehouse?

В файловой системе hdfs создаются каталоги '/ tmp' и '/ user / hive / warehouse'.Вы не можете видеть эти папки, используя команды локальной файловой системы.

Эта папка /tmp в вашей локальной файловой системе поддерживается операционной системой и используется для хранения временных файлов.Не относится к hdfs.

Я думал, что

  • файлы в HDFS и файлы в локальных файловых системах ext4 не являются одинаковыми файлами и не зависят отдруг с другом, за исключением того, что, возможно, файлы в HDFS реализованы в некоторых других файлах в локальной файловой системе ext4.

  • файловая система HDFS по умолчанию должна быть пустой без какого-либо файла, и чтобы добавить в нее файл, мне нужно было бы добавить файлы в файловую систему HDFS с помощью команды hadoop fs.

Но меня смущают следующие примеры:

  1. Пример 1: Я обнаружил, что 

    $ $HADOOP_HOME/bin/hadoop fs -mkdir       /tmp
mkdir: `/tmp': File exists

    и 

    $HADOOP_HOME/bin/hadoop fs -ls       /tmp

    показывают те же файлы, что и ls -l /tmp в моей локальной файловой системе ext4.

    Почему файловая система HDFS по умолчанию содержит каталог /tmp моей локальной файловой системы ext4, при этом я явно не запускаю hadoop fs для добавления /tmp в файловую систему HDFS?

  2. Пример 2: 

    $ $HADOOP_HOME/bin/hadoop fs -mkdir       /user/hive/warehouse
mkdir: `/user/hive/warehouse': No such file or directory

    и в моей локальной файловой системе ext4 в Ubuntu нет /usr/hive/warehouse.

    Если я создаю /usr/hive/warehouse в файловой системе HDFS 

    $ sudo env "JAVA_HOME=$JAVA_HOME" $HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse

    почему он также создает /user/hive/warehouse/ в моей локальной файловой системе ext4 

    $ ls -ld /user/hive/warehouse/
drwxr-xr-x 2 root root 4096 May 14 05:30 /user/hive/warehouse/

Зависит ли ответ на поставленные вопросы от того, зависит ли мойHadoop находится в локальном режиме, псевдораспределенном режиме и распределенном режиме?Если да, то как файлы в HDFS и в локальных файловых системах ext4 соответствуют друг другу в локальном режиме, псевдораспределенном режиме и распределенном режиме соответственно?

Я скачал hadoop-3.1.2 в свою Ubuntu с файловыми системами ext4.

Я слышал

  • HDFS может работать в локальном режиме, псевдораспределенном режиме и распределенном режиме.

  • по умолчанию,HDFS работает в локальном режиме.

Я не внес никаких изменений в конфигурации Hadoop, поэтому я думаю, что HDFS работает в локальном режиме, хотя я хотел бы знать, как это проверить(как?).

...