Отладка сбоя Cassandra без сообщений об ошибках

Question

Cassandra 2.x постоянно падает (каждые три 3 минуты) без каких-либо сообщений об ошибках.

Параметры запуска

INFO [main] 2019-04-11 10: 17: 21,648 CassandraDaemon.java: 489 - Аргументы JVM: [-Xloggc: /var/log/cassandra/gc.log, -ea, -XX: + UseThreadPriorities, -XX: ThreadPriorityPolicy = 42, -XX: + HeapDumpOnOutOfMemoryError, -XssX6k, -Xss256k, -Xss256k: StringTableSize = 1000003, -XX: + AlwaysPreTouch, -XX: -UseBiasedLocking, -XX: + UseTLAB, -XX: + ResizeTLAB, -XX: + UseNUMA, -XX: + PerfDisableSharedMem, -Djava.net.preckIPvtaS4-XX: + UseParNewGC, -XX: + UseConcMarkSweepGC, -XX: + CMSParallelRemarkEnabled, -XX: SurvivorRatio = 8, -XX: MaxTenuringThreshold = 1, -XX: CMSInitiatingOccupancyFraction = 75, -XXit:10000, -XX: + CMSParallelInitialMarkEnabled, -XX: + CMSEdenChunksRecordAlways, -XX: + CMSClassUnloadingEnabled, -XX: + PrintGCDetails, -XX: + PrintGCDateStamps, -XX: + PrintTackingTex:-XX: + PrintPromotionFailure, -XX: + UseGCLogFileRotation, -XX: NumberOfGCLogFiles = 10, -XX: GCLogFileSize = 10M, -Xms8192M, -Xmx8192M, -Xmn1600M, -XX: CompileCommandFile = / etc / /:/cassandra/lib/jamm-0.3.0.jar, -Dcassandra.jmx.local.port = 7198, -Dcom.sun.management.jmxremote.authenticate = false, -Dcom.sun.management.jmxremote.password.file =/etc/cassandra/jmxremote.password, -Djava.library.path = / usr / share / cassandra / lib / sigar-bin, -Dcassandra.libjemalloc = / usr / lib / x86_64-linux-gnu / libjemalloc.so.1, -Dlogback.configurationFile = logback.xml, -Dcassandra.logdir = / var / log / cassandra, -Dcassandra.storagedir = / var / lib / cassandra, -Dcassandra-pidfile = / var / lib / cassandra / cassandra.pid,-XX: HeapDumpPath = / var / lib / cassandra / java.hprof, -XX: ErrorFile = / var / lib / cassandra / hs_err.log]

system.log /gc.log/ debug.log являютсяне указывает причину ошибки.

Ниже приведен фрагмент из вывода gc.log.

2018-11-02T15: 46: 36.546 + 0000: 249556.882: Общее времядля которых потоки приложения были остановлены: 0,0370247 секунд, остановка потоков заняла: 0,0002449 секунд {Куча до вызовов GC = 267 (полная 1): номинальная стоимость нового поколения всего 1474560K, использовано 1317229K [0x00000005c0000000, 0x0000000624000000, 0x0000000624000000 использовано eden пробел 1310, 1030 пробел, 1010 пробел, 1010 1310[0x00000005c0000000, 0x0000000610000000, 0x0000000610000000) из космоса 163840K, 3% использовали [0x000000061a000000, 0x000000061a65b4e0, 0x0000000624000000) в пространстве 163840K, 0% использовали [0x0000000610000000, 0x0000000610000000, 0x000000061a000000) генерации параллельных разметки развертки общая 6750208K, использовали 574714K [0x0000000624000000, 0x00000007c0000000,0x00000007c0000000) Используется Metaspace 44858K, емкость 46145K, выделено 46364K, зарезервировано 1089536K, использовано пространство класса 5581K, емкость 5897K, выделено 5948K, зарезервировано 1048576K 2018-11-02T15: 54: 48.165 + 0000: 250048.501: [GC (Ошибка выделения) 2018-11-02T15: 54: 48.165 + 0000: 250048.502: [ParNew Желаемый размер оставшегося в живых 83886080 байт, новый порог 1 (макс. 1) - возраст 1: 3333032 байт, 3333032 всего: 1317229K-> 4589K (1474560K), 0,0588395 с] 1891943K-> 580369K (8224768K), 0,0590781 с] [Times: user = 0,37 сс = 0,03, реальный = 0,06 с] Куча после вызовов GC = 268 (полный 1): пар нового поколения общей 1474560K, используется 4589K [0x00000005c0000000, 0x0000000624000000, 0x0000000624000000) Иден пространство 1310720K, 0% использовали [0x00000005c0000000, 0x00000005c0000000, 0x0000000610000000) из космоса 163840K, 2% использовали [0x0000000610000000, 0x000000061047b6c0, 0x000000061a000000) к космическому 163840K, 0% использовал [0x000000061a000000, 0x000000061a000000, 0x0000000624000000) одновременное генерирования метки развертки общей 6750208K, используется 575779K [0x0000000624000000, 0x00000007c0000000, 0x00000007c0000000) Метапространство используется 44858K, способность 46145K, совершенное 46364K, зарезервированные 1089536K класса пространства, используемого 5581K, емкость 5897K, совершенное 5948K, зарезервированное1048576K}2018-11-02T15: 54: 48.224 + 0000: 250048.561: Общее время, в течение которого потоки приложения были остановлены: 0,0603948 секунд. Остановка потоков заняла: 0,0001843 секунды. 2018-11-02T15: 56: 58.257 + 0000: 250178.593: Общее время, в течение которого потоки приложения были остановлены: 0,0122517 секунд. Остановка потоков заняла: 0,0115583 секунд. {Куча перед вызовами GC = 268 (полный 1): номинальная стоимость нового поколения 1474560K, используется 1315309K [0x00000005c0000000, 0x0000000624000000, 0x0000000624000000) eden space 1310720K, использовано 100% [0x00000005c0000000, 0x0000000610000000, 0x0000000610000000) из космоса 163840К, использовано 2% [0x0000000610000000, 0x000000061047b6c0, 0x000000061a000000) для пробела 163840К, 0% используется [0x000000061a000000, 0x000000061a000000, 0x0000000624000000) общее количество одновременных генераций с разметкой 6750208K, использовано 575779K [0x0000000624000000, 0x00000007c0000000, 0x00000007c0000000) Используется Metaspace 44858K, емкость 46145K, выделено 46364K, зарезервировано 1089536K используется пространство класса 5581K, емкость 5897K, выделено 5948K, зарезервировано 1048576K 2018-11-02T16: 02: 34.392 + 0000: 250514.729: [GC (Ошибка распределения) 2018-11-02T16: 02: 34.392 + 0000: 250514.729: [ParNew Желаемый размер оставшегося в живых 83886080 байт, новый порог 1 (макс. 1) - возраст 1: 17990136 байт, всего 17990136 : 1315309K-> 19090K (1474560K), 0,0394727 с] 1891089K-> 594901K (8224768K), 0,0397609 с] [Times: user = 0,25 sys = 0,13, реальное = 0,04 с] Куча после вызовов GC = 269 (полный 1): номинальная стоимость нового поколения 1474560K, используется 19090K [0x00000005c0000000, 0x0000000624000000, 0x0000000624000000) Eden Space 1310720K, 0% используется [0x00000005c0000000, 0x00000005c0000000, 0x0000000610000000) из пространства 163840K, 11% использовали [0x000000061a000000, 0x000000061b2a48d0, 0x0000000624000000) для пробела 163840К, 0% используется [0x0000000610000000, 0x0000000610000000, 0x000000061a000000) общее число одновременных генераций с разметкой 6750208K, использовано 575811K [0x0000000624000000, 0x00000007c0000000, 0x00000007c0000000) Используется Metaspace 44858K, емкость 46145K, выделено 46364K, зарезервировано 1089536K используется пространство класса 5581K, емкость 5897K, выделено 5948K, зарезервировано 1048576K }