О передаче файла в формате hdfs - PullRequest
Новая
       10

О передаче файла в формате hdfs

1 голос
/ 14 января 2012

Мне нужно перенести файлы из одной папки hdfs в другую папку hdfs в коде java.

Могу ли я спросить, есть ли API, который мы можем вызвать для передачи файлов между путями hdfs?

Также я хотел бы спросить, есть ли в любом случае вызов задания mapreduce из Java-кода? Конечно, эта java не работает в hdfs.

Большое спасибо и хороших выходных!

1 Ответ

2 голосов
/ 14 января 2012

Могу ли я спросить, есть ли API, который мы можем вызвать для передачи файлов между путями hdfs?

Используйте метод переименования o.a.h.hdfs.DistributedFileSystem # для перемещения файла из одной папки в HDFS в другую папку. Функция была перегружена, и один из методов принимает Options.Rename в качестве параметра.

К вашему сведению .... Я не проверял код, но я думаю, что переименование включает в себя изменения в пространстве имен, а не какие-либо реальные перемещения блоков.

Также я хотел бы спросить, есть ли в любом случае вызов задания mapreduce из кода Java? Конечно, эта Java не работает в hdfs.

Hadoop написан на Java, поэтому должен быть способ :) Используйте методы o.a.h.mapreduce.Job # submit и o.a.h.mapreduce.Job # waitForCompletion .

...