Бойкая для маленьких файлов - PullRequest
Новая
       31

Бойкая для маленьких файлов

1 голос
/ 28 сентября 2011

Я новичок в Кассандре и Хэдупе. В поисках интеграции двух продуктов я наткнулся на Brisk. Из описания я понимаю, что Brisk заменяет HDFS на CassandraFS. Таким образом, эта замена является решением проблемы небольших файлов Hadoop? Если так, то как насчет больших файлов? В настоящее время мне нужно реализовать хранилище ресурсов, содержащее как большие двоичные файлы данных с их метаданными, так и небольшие файлы, такие как изображения.

1 Ответ

0 голосов
/ 14 ноября 2011

На самом деле это и то и другое (хотя я думаю, что Brisk сейчас превратился в коммерческий продукт, DataStax Enterprise, и сам по себе активно не разрабатывается).

Brisk включает CassandraFS (cfs), который является заменой HDFS и поэтому поддерживает большие файлы. Под капотом они разбиваются на куски и хранятся в строках / столбцах Кассандры.

Для небольших файлов вы можете хранить данные в собственных строках Cassandra вместо CassandraFS и вместо этого запускать задания Hadoop над строками.

...