У меня есть 3 узла elassandra, работающие в док-контейнерах.
Контейнеры, созданные как:
Хост 10.0.0.1: запуск Docker --name elassandra-node-1 -net = host -e CASSANDRA_SEEDS = "10.0.0.1" -e CASSANDRA_CLUSTER_NAME = "BD Storage" -e CASSANDRA_DC = "DC1" -e CASSANDRA_RACK = "r1" -d strapdata / elassandra: последняя
Хост 10.0.0.2: запуск докера --name elassandra-node-2 --net = хост -e CASSANDRA_SEEDS = "10.0.0.1,10.0.0.2" -e CASSANDRA_CLUSTER_NAME = "BD Storage" -e CASSANDRA_DC = "DC1" -e CASSANDRA_RACK = "r1 "-d strapdata / elassandra: последняя
Хост 10.0.0.3: запуск докера --name elassandra-node-3 --net = хост -e CASSANDRA_SEEDS =" 10.0.0.1,10.0.0.2,10.0.0.3 "-e CASSANDRA_CLUSTER_NAME =" BD Storage "-e CASSANDRA_DC =" DC1 "-e CASSANDRA_RACK =" r1 "-d strapdata / elassandra: последние
Кластер работал нормально в течение нескольких дней с тех порсозданный, эластичный, кассандра все было идеально.
В настоящее время, однако, все узлы кассандры стали недоступными друг для друга: Узелсостояние инструмента на всех узлах выглядит следующим образом:
Центр обработки данных: DC1
Состояние = Вверх / Вниз | / Состояние = Нормальный / Выход / Присоединение / Перемещение - Адресные маркеры загрузки адресов (эффективные)Идентификатор хоста Rack DN 10.0.0.3 11.95 GiB 8 100.0% 7652f66e-194e-4886-ac10-0fc21ac8afeb r1 DN 10.0.0.2 11.92 GiB 8 100.0% b91fa129-1dd0-4cf8-be96-9c06b23daac6 r1 UN 10.0.0.1 11.9 GiB 8.0%5c1afcff-b0aa-4985-a3cc-7f932056c08f r1
Где UN - текущий хост 10.0.0.1 То же самое на всех других узлах.
Nodetool descriptioncluster на 10.0.0.1 похожа на
Информация о кластере: имя: BD Storage Snitch: org.apache.cassandra.locator.GossipingPropertyFileSnitch DynamicEndPointSnitch: включено Partitioner: org.apache.cassandra.dht.Murmur3Partitioner Схемы версии-9803e55: 553e5-99ce502fe98d: [10.0.0.1]
UNREACHABLE: [10.0.0.2,10.0.0.3]
При подключении к первому узлу повторяется только эта информация:
2018-12-09 07:47:32 927 WARN [Необязательные задачи: 1] org.apache.cassandra.auth.CassandraRoleManager.setupDefaultRole (CassandraRoleManager.java:361) CassandraRoleManager пропустил настройку роли по умолчанию: некоторые узлы не были готовы 2018-12-09 07: 47: 32,927 ИНФОРМАЦИЯ [Необязательные задачи: 1] org.apache.cassandra.auth.Canagerrun (CassandraRunCassandraRoleManager.java:400) Сбой задачи установки с ошибкой, перепланирование 2018-12-09 07: 47: 32 980 ИНФОРМАЦИЯ [HANDSHAKE- / 10.0.0.2] org.apache.cassandra.net.OutboundTcpConnection.lambda $ handshakeVersion $ 1 (OutboundTcpConnection.js): 561) Версия рукопожатия с /10.0.0.2 2018-12-09 07: 47: 32,980 ИНФОРМАЦИЯ [HANDSHAKE- / 10.0.0.3] org.apache.cassandra.net.OutboundTcpConnection.lambda $ handshakeVersion $ 1 (OutboundTcpConnection.java:561)Версия подтверждения связи с /10.0.0.3
Через некоторое время при перезапуске какого-либо узла:
2018-12-09 07: 52: 21 972 ПРЕДУПРЕЖДЕНИЕ [MigrationStage: 1]org.apache.cassandra.service.MigrationTask.runMayThrow (MigrationTask.java:67) Невозможно отправить запрос извлечения схемы: узел /10.0.0.2 не работает.
Попытка пока: отдыходновременное выполнение всех контейнеров. Перезапуск всех контейнеров один за другим. Перезапуск cassandra во всех контейнерах, например: перезапуск службы cassandra.1045 * Кажется, что все схемы узлов различны, но я до сих пор не понимаю, почему они помечены как расположенные друг к другу.