Я всегда предполагал, что ответ - да, HDFS реализована поверх хранилища Hadoop Key-Value, но я не вижу никаких доказательств (нет, я не собираюсь читать исходный код!). Я надеялся, что статья, документ или статья объяснят, как HDFS манипулирует метамоделью хранения NoSQL со значением ключа для реализации базовых файловых операций, таких как чтение, добавление, создание списка каталогов, получение метаданных и т. Д. также построен на базе данных NoSQL.
Логически, я думаю, вы можете смоделировать файловую систему, используя хранилище значений ключей, где каждая пара представляет строку в файле, что делает добавление новых данных в большие файлы намного быстрее, чем в обычном файле. Но я хотел бы посмотреть, есть ли другие практические соображения.
Почему я спрашиваю
AWS S3 не поддерживает добавление к файлам, и я действительно хочу постоянное облачное хранилище, которое поддерживает И я хочу, чтобы постоянное хранилище было доступно как файловая система (поэтому нет СУБД, KV, столбцов, БД документов и т. Д.). Мне интересно, является ли HDFS ответом на потребности моего приложения.