Как огромный файл может происходить из-за пределов HDFS? - PullRequest
0 голосов
/ 08 января 2019

Я полный новичок, пытающийся узнать о Hadoop и MapReduce. Я понимаю, что HDFS может хранить огромный файл, например 1 пб, разделив его на блоки приемлемого размера. Чего я не понимаю, так как такой огромный файл не может быть сохранен на жестком диске вне HDFS, откуда он может быть создан и перенесен?

1 Ответ

0 голосов
/ 10 января 2019

Как правило, он не исходит от одного жесткого диска, а часто из пула дисков RAID или JBOD, который монтируется на сервере / кластере, чаще всего из одной или нескольких баз данных.

И это не обязательно должен быть «один файл» - это может быть множество файлов, которые вместе составляют таблицы базы данных, документы, изображения, mp3, видео, что угодно.

...