Hadoop Data Persistance в каком формате? - PullRequest
0 голосов
/ 19 сентября 2010
  1. У меня есть некоторый опыт работы с Lucene, я пытаюсь понять, как на самом деле данные хранятся на подчиненном сервере в среде Hadoop?

  2. Мы создаеминдекс в подчиненном сервере с набором атрибутов для описания документа, который мы храним?как это работает в реальности?

1 Ответ

0 голосов
/ 20 сентября 2010

Данные разбиваются на блоки определенного размера, а затем реплицируются на другие узлы в кластере для надежности. Этот процесс обрабатывается одним «узлом имени», который отслеживает, куда и куда ушли блоки данных.

Hadoop предоставляет вам виртуальную файловую систему, аналогичную Unix, к которой вы можете обращаться с помощью различных инструментов файловой системы Hadoop (ls, get, put и т. Д.)

Эта ссылка должна дать вам полный обзор.

...