Как Apache Zookeeper используется в шардинге? - PullRequest
1 голос
/ 03 июня 2011

Мы думаем о централизации информации о cfg и, похоже, zookeeper - хороший выбор. Мы также заинтересованы в шардинге и у нас есть схема. В poweredBy [1] увидели, что Rackspace и Yahoo используют Zookeeper для шардинга. Буду признателен за указатели и детали.

[1] https://cwiki.apache.org/confluence/display/ZOOKEEPER/PoweredBy

Ответы [ 3 ]

1 голос
/ 23 декабря 2011

Solr собирается использовать Zookeeper для шардинга. ZooKeeper Integeration дизайн документа может быть интересным для вас.

0 голосов
/ 08 августа 2012

Вы также должны взглянуть на то, как HBase использует Zookeeper;специально для ведения информации о регионах.Это было бы аналогично использованию ZK для хранения информации о разделении БД.

0 голосов
/ 13 февраля 2012

Я могу вспомнить две вещи, на которые они могли бы ссылаться.

  1. Они могут ссылаться с использованием встроенных функций ансамбля.Используя их, вы можете настроить протокол управления группой для своей службы.Когда вы добавляете больше серверов в ансамбль, вы эффективно увеличиваете свой пул.Данные между членами ансамбля синхронизируются между серверами-участниками.Это особенно полезно для приложений, которые разделяют один и тот же набор данных на несколько пулов чтения, таких как серверы индексирования, серверы поиска, кэш чтения и т. Д.

  2. Они могут использовать ZooKeeper для конфигурацииуправление.Теперь давайте предположим, что в вашем приложении могут быть тысячи клиентов, которым все необходимо обновить свои конфигурационные файлы одновременно.Предположим, что ваше приложение теперь обращается к слою хранения данных из 50 серверов, но этот пул должен быть удален до 200. Вы можете настроить отношение подчинения для выполнения отношения 1-4 подчиненных.Затем ZooKeeper можно использовать для обновления этого конфигурационного файла и, по сути, для изменения каждого конфигурационного файла за одну секунду.

...