Есть ли способ при использовании Redis мы могли бы написать в HBase - PullRequest
3 голосов
/ 13 октября 2011

Насколько я знаю, redis только для записи в двоичном файле. но наше программное обеспечение требует записи в hbase с использованием любых совместимых распределенных карт (redis). Есть ли какой-то способ, используя redis, мы могли бы написать в hbase.

1 Ответ

3 голосов
/ 13 октября 2011

Нет способа настроить способ записи файла.Он будет записывать на диск, и вы ничего не сможете с этим поделать.

Вместо этого вам нужно иметь внешний запланированный процесс (возможно, с использованием cron), который периодически принимает файл Redis, а затемвыдает его в HBase.

Несколько способов настроить этот процесс, чтобы он был более надежным, если он соответствует вашей ситуации и потребностям:

  • Выполнить BGSAVE передзапустите процесс загрузки, чтобы убедиться, что у вас есть актуальный дамп.
  • сделайте md5sum для файла перед его загрузкой в ​​HBase.Убедитесь, что md5sum изменился с момента последней обработки.Это может быть полезно, если данные в вашем экземпляре Redis меняются не очень часто.
  • Вместо этого используйте добавление только файла dump.Таким образом, вы можете отслеживать, что вы уже ввели в HBase, а затем только обновлять изменения.Вам просто нужно будет отслеживать, какую линию вы остановили в прошлый раз.Это было бы хорошо, если вы не хотите каждый раз сбрасывать свою таблицу HBase и перезагружать ее.
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...