NFS вместо HDFS - PullRequest
       22

NFS вместо HDFS

0 голосов
/ 18 апреля 2019

HDFS - это сердце Hadoop, я понял.Но что, если я не хочу хранить свои данные в HDFS.Вместо этого я хочу проанализировать и запустить задания Hadoop для данных, хранящихся на удаленном сервере, доступном по протоколу NFS?Как мне это сделать?

Например, я хочу запустить Teragen, используя данные на сервере NFS, как показано ниже:

hadoop jar hadoop-mapreduce-examples.jar teragen 1000000000 nfs://IP/some/path

Я просто ищу идеи о том, как это сделатьи я понимаю последствия всего этого (HDFS против NFS).Так что, хотя я ценю, что кто-то говорит мне, что это плохая идея, я все же хочу сделать это для какого-то эксперимента, который я пробую.

Возможно, я могу написать что-нибудь, чтобы это произошло, но любые указатели, с которых мне нужно начать, будут полезны и высоко оценены.Я также не хочу изобретать велосипед.Итак, если что-то подобное уже существует, о чем я не знаю, пожалуйста, прокомментируйте и дайте мне знать.Все, что я создаю, будет сделано с открытым исходным кодом, чтобы другие тоже могли извлечь выгоду.

...