Обновление файла Hadoop HDFS

Question

Я новичок в Hadoop. Я читал, что HDFS в основном о «писать один раз, читать в любое время». У меня есть случай, когда мне, возможно, придется вносить изменения в файлы, хранящиеся в HDFS. Я исследовал, есть ли способы сделать это.

Мой вопрос: можно ли будет загрузить файл HDFS в HBase, внести изменения, сохранить его обратно в HDFS и удалить исходный файл. Пожалуйста, дайте мне, если это возможно.

Answer 1

Если вам нужно обновить значения в файле, вам гораздо лучше использовать HBase.Вы все еще можете использовать свою таблицу HBase в своих заданиях MR через TableInputFormat и TableOutputFormat.Если вы хотите добавить данные, вы можете использовать любую из версий hadoop, поддерживающих добавление hdf, например, 0.20.205.0.