был кластер oop с проблемой медленной записи данных BlockReceiver на диск - PullRequest
0 голосов
/ 07 мая 2020

Я хотел бы сообщить о странном поведении при работе с новым кластером Had oop на новом аппаратном стеке.

После того, как все будет установлено, как только мы попытаемся выполнить любой ввод-вывод операции на HDFS, мы можем видеть многие из этих сообщений в журналах узлов данных:

мы видим много строк в журналах узлов данных как

WARN  datanode.DataNode (BlockReceiver.java:receivePacket(701)) - Slow BlockReceiver write data to disk cost:29543ms (threshold=300ms), volume=/grid/sdb/hadoop/hdfs/data

что мы можем с этим сделать?

почему запись данных идет медленно?

...