Ошибка RabbitMQ "wal: при восстановлении обнаружена ошибка: badarg" - PullRequest
Новая
       128

Ошибка RabbitMQ "wal: при восстановлении обнаружена ошибка: badarg"

0 голосов
/ 14 июля 2020

Я использую высокодоступный кластер RMQ с 3 узлами, версия: 3.8.3

Spe c:

  • RAM: 4 ГБ
  • CPU : 2CPUs

Периодически я получаю следующие ошибки, и некоторые узлы вылетают из-за ошибок памяти. 

Application mnesia exited with reason: stopped
wal: encountered error during recovery: badarg

Записи полного журнала: 

**********************************************************
*** Publishers will be blocked until this alarm clears ***
**********************************************************
2020-07-14 01:13:00.914 [warning] <0.328.0> rabbit_sysmon_handler busy_dist_port <0.456.0> [{name,rabbit_alarm},{initial_call,{gen_event,init_it,6}},{erlang,bif_return_trap,2},{message_queue_len,0}] {#Port<0.968>,unknown}
2020-07-14 01:13:02.838 [warning] <0.328.0> rabbit_sysmon_handler busy_dist_port <0.684.0> [{initial_call,{rabbit_prequeue,init,1}},{erts_internal,dsend_continue_trap,1},{message_queue_len,0}] {#Port<0.968>,unknown}
2020-07-14 01:31:34.457 [info] <0.8.0> Log file opened with Lager
2020-07-14 01:31:37.799 [info] <0.8.0> Feature flags: list of feature flags found:
2020-07-14 01:31:37.799 [info] <0.8.0> Feature flags:   [x] drop_unroutable_metric
2020-07-14 01:31:37.799 [info] <0.8.0> Feature flags:   [x] empty_basic_get_metric
2020-07-14 01:31:37.799 [info] <0.8.0> Feature flags:   [x] implicit_default_bindings
2020-07-14 01:31:37.799 [info] <0.8.0> Feature flags:   [x] quorum_queue
2020-07-14 01:31:37.800 [info] <0.8.0> Feature flags:   [x] virtual_host_metadata
2020-07-14 01:31:37.800 [info] <0.8.0> Feature flags: feature flag states written to disk: yes
2020-07-14 01:31:37.910 [info] <0.43.0> Application mnesia exited with reason: stopped
2020-07-14 01:31:38.072 [info] <0.395.0> ra: meta data store initialised. 0 record(s) recovered
2020-07-14 01:31:38.072 [info] <0.402.0> WAL: recovering ["/var/lib/rabbitmq/mnesia/rabbit@rmq-3/quorum/rabbit@rmq-3/00000058.wal"]
2020-07-14 01:31:38.518 [warning] <0.402.0> wal: encountered error during recovery: badarg

In на этот раз я смог увидеть, что системный iowait был высоким,

enter image description here

And I was able to see High TCP errors

введите описание изображения здесь

Какие могут быть возможные причины этого?

Любая помощь будет принята с благодарностью.

Спасибо.

...