Недавно мы начали замечать ошибки «Тайм-аут Cassandra во время запроса на чтение в согласованном локальном сообщении (1 реплика (-ы) ответили более чем на 2))» на наших серверах и пытаемся решить эту проблему, но в настоящее время неясно, откуда они происходят.
У нас есть следующие настройки:
- 3 узла Cassandra Cluster Ubuntu Server 14.04.5 LTS (ядро 3.14.32-xxxx-grs-ipv6-64)
- Apache Cassandra2.1.2
- Java SE Runtime Envionment (build 1.8.0_144-b01)
read_request_timeout_in_ms установлен на 5000 на каждом узле
Сами запросы нитаблица, из которой он извлекает данные, изменилась между тем, что она работает нормально и теперь показывает эти ошибки.Мы заметили, что узлы периодически теряют связь с одним или обоими другими узлами.Мы запустили инструмент мониторинга, который каждые несколько минут запускает состояние nodetool, и из этого мы видим, что через нечастые интервалы они отображают DN состояния для других узлов внутри кластера, но через некоторое время он всегда разрешается сам.Кроме того, мы запустили автоматический пинг между всеми узлами, и максимальная наблюдаемая задержка составляет около 0,8 мс в пиковые моменты времени.
По словам нашего хоста серверов Cassandra, в центре обработки данных не было ни внутренних проблем с сетью, ни ненормальныхсумма потери посылки с их стороны.На всех машинах также имеется достаточно доступных ресурсов, загрузка ЦП была относительно низкой, использование диска и памяти колеблется около 20% и изменяется на 10%.
Мы выполнили задачу полного последовательного восстановления и изменили запросы Cassandra 'уровень согласованности от LocalQuorum до уровня, который временно стабилизировал проблему, но, конечно, не решает основную проблему.
Кто-то сталкивался с подобной проблемой раньше или имеет какие-то рекомендации?Я сам новичок во всем этом, поэтому, пожалуйста, спросите, требуется ли дополнительная информация.