Мы обнаружили, что у Cassandra много накоплений записи в производственной среде, и наш бизнес испытал много сбоев записи.Посредством system.log было обнаружено, что MemtableReclaimMemory вначале находилась в режиме ожидания, а затем в определенный момент появилось большое количество стеков MutationStage.Наконец, куча памяти заполнена, время GC достигает десятков секунд, состояние узла - DN через nodetool, но процесс Cassandra все еще выполняется. Мы убили узел и перезапустили узел, и описанная выше ситуация исчезла.
Также число активных потоков MemtableReclaimMemory, по-видимому, остается на уровне 1.
(вы можете увидеть 1.PNG)
большое количество стеков MutationStage появилось в определенный момент.
(вы можете видеть 2.PNG)
длительное время GC: * 1011 *
- MemtableReclaimMemory 1 156 24565 0 0
G1 СтарыйПоколение GC в 87121мс.G1 Old Gen: 51175946656 -> 50082999760;MutationStage 128 11931622 1983820772 0 0 CounterMutationStage 0 0 0 0 0 MemtableReclaimMemory 1 156 24565 0 0 G1 Молодое поколение GC за 969 мс.G1 Eden Space: 1090519040 -> 0;G1 Old Gen: 50082999760 -> 51156741584;MutationStage 128 11953653 1983820772 0 0 CounterMutationStage 0 0 0 0 0 MemtableReclaimMemory 1 156 24565 0 0 G1 GC старого поколения в 84785 мс.G1 Old Gen: 51173518800 -> 50180911432;MutationStage 128 11967484 1983820772 0 0 CounterMutationStage 0 0 0 0 0 MemtableReclaimMemory 1 156 24565 0 0 G1 Молодое поколение GC за 611 мс.G1 Eden Space: 989855744 -> 0;G1 Old Gen: 50180911432 -> 51153989960;MutationStage 128 11975849 1983820772 0 0 CounterMutationStage 0 0 0 0 0 MemtableReclaimMemory 1 156 24565 0 0 G1 GC старого поколения в 85845 мс.G1 Old Gen: 51170767176 -> 50238295416;MutationStage 128 11978192 1983820772 0 0 CounterMutationStage 0 0 0 0 0 MemtableReclaimMemory 1 156 24565 0 0 G1 Молодое поколение GC за 602 мс.G1 Eden Space: 939524096 -> 0;G1 Old Gen: 50238295416 -> 51161042296;MutationStage 128 11994295 1983820772 0 0 CounterMutationStage 0 0 0 0 0 MemtableReclaimMemory 1 156 24565 0 0 G1 GC старого поколения в 85307 мс.G1 Old Gen: 51177819512 -> 50288829624;Metaspace: 36544536 -> 36525696 MutationStage 128 12001932 1983820772 0 0 CounterMutationStage 0 0 0 0 0 66 - MutationStage 128 12004395 1983820772 0 0 66 - CounterMutationStage 0 0 0 0 0 MemtableReclaimMemory 1 156 24565 0 0 66 - MemtableReclaMПоколение GC за 610мс.G1 Eden Space: 889192448 -> 0;G1 Old Gen: 50288829624 -> 51178022072;MutationStage 128 12023677 1983820772 0 0 Почему это происходит?
Ссылка для обсуждения выглядит следующим образом: https://issues.apache.org/jira/browse/CASSANDRA-14953?page=com.atlassian.jira.plugin.system.issuetabpanels%3Aall-tabpanel