JGroups есть память - PullRequest
5 голосов
/ 04 марта 2010

У меня в настоящее время есть проблема с моей конфигурацией jgroups, из-за которой тысячи сообщений застряли в NAKACK.xmit_table. На самом деле все они, похоже, попадают в таблицу xmit_table, и еще один дамп через несколько часов указывает на то, что они никогда не собираются уходить ...

Это конфигурация стека протоколов

UDP(bind_addr=xxx.xxx.xxx.114;
bind_interface=bond0;
ip_mcast=true;ip_ttl=64;
loopback=false;
mcast_addr=228.1.2.80;mcast_port=45589;
mcast_recv_buf_size=80000;
mcast_send_buf_size=150000;
ucast_recv_buf_size=80000;
ucast_send_buf_size=150000):
PING(num_initial_members=3;timeout=2000):
MERGE2(max_interval=20000;min_interval=10000):
FD_SOCK:
FD(max_tries=5;shun=true;timeout=10000):
VERIFY_SUSPECT(timeout=1500):
pbcast.NAKACK(discard_delivered_msgs=true;gc_lag=50;retransmit_timeout=600,1200,2400,4800;use_mcast_xmit=true):
pbcast.STABLE(desired_avg_gossip=20000;max_bytes=400000;stability_delay=1000):UNICAST(timeout=600,1200,2400):
FRAG(frag_size=8192):pbcast.GMS(join_timeout=5000;print_local_addr=true;shun=true):
pbcast.STATE_TRANSFER

Сообщение при запуске ...

2010-03-01 23:40:05,358 INFO  [org.jboss.cache.TreeCache] viewAccepted(): [xxx.xxx.xxx.35:51723|17] [xxx.xxx.xxx.35:51723, xxx.xxx.xxx.36:53088, xxx.xxx.xxx.115:32781, xxx.xxx.xxx.114:32934]
2010-03-01 23:40:05,363 INFO  [org.jboss.cache.TreeCache] TreeCache local address is 10.35.191.114:32934
2010-03-01 23:40:05,393 INFO  [org.jboss.cache.TreeCache] received the state (size=32768 bytes)
2010-03-01 23:40:05,509 INFO  [org.jboss.cache.TreeCache] state was retrieved successfully (in 146 milliseconds)

... указывает, что пока все в порядке.

Журналы, установленные на уровне предупреждения, не указывают, что что-то не так, за исключением случая

2010-03-03 09:59:01,354 ERROR [org.jgroups.blocks.NotificationBus] exception=java.lang.IllegalArgumentException: java.lang.NullPointerException

Я предполагаю, что это не связано, поскольку было замечено ранее без проблемы с памятью.

Я копался в двух дампах памяти на одной из машин, чтобы найти странности, но пока ничего. За исключением, может быть, статистики из разных протоколов

UDP имеет

num_bytes_sent 53617832
num_bytes_received 679220174
num_messages_sent 99524
num_messages_received 99522

пока NAKACK имеет ...

num_bytes_sent 0
num_bytes_received 0
num_messages_sent 0
num_messages_received 0

... и огромный xmit_table.

На каждой машине есть два экземпляра JChannel, один для ehcache и один для TreeCache. Неверная конфигурация означает, что оба они используют один и тот же адрес диагностики mcast, но это не должно вызывать проблем, если я не хочу отправлять диагностические сообщения, верно? Однако они, разумеется, имеют разные адреса mcast для сообщений.

Пожалуйста, попросите разъяснений, у меня много информации, но я немного не уверен в том, что относится к этому моменту.

1 Ответ

4 голосов
/ 10 марта 2010

Оказывается, что один из узлов в кластере вообще не получал многоадресных сообщений.Это заставило все узлы зависать от своих собственных xmit_tables, поскольку они не получали никаких сообщений о стабильности от «изолированного» узла, утверждая, что он получил их сообщения.

Перезапуск AS, изменение адреса многоадресной рассылки решило проблему.

...