В чем разница между использованием HDFS RAMDisk и Alluxio? - PullRequest
0 голосов
/ 28 декабря 2018

Поскольку HDFS поддерживает RAMDisk, в чем преимущество Alluxio.В нашем случае мы не собираемся поддерживать интеграцию разных типов хранения под HDFS.

1 Ответ

0 голосов
/ 31 декабря 2018

Концепция All Storage и синхронизация данных и метаданных между Alluxio и Under Storage - ключевое отличие Alluxio от HDFS.Кроме того, есть еще несколько других отличий, в результате которых Alluxio предназначен для размещения «горячих» данных и реализует семантику распределенного кэша, тогда как HDFS предназначена для службы постоянного хранения.

  1. Alluxio предоставляетс настраиваемыми политиками выселения .
  2. Alluxio изначально поддерживает такие операции, как установка TTL (см. link ).
  3. Количество блочных копий данных в HDFS является фиксированной константой для постоянства (по умолчанию 3можно использовать команду setrep для изменения уровня репликации в HDFS).Однако количество реплик блоков в Alluxio может быть изменено автоматически в зависимости от популярности различных блоков.Если доступ к блоку осуществляется несколькими различными приложениями на разных серверах, копий может быть больше.
  4. Alluxio поддерживает многоуровневое хранилище, поэтому можно настроить несколько уровней с MEM, SSD и HDD (см. link ).
...