ИЛИ C считыватель подключается к удаленному узлу данных слишком много раз - PullRequest
Новая
       82

ИЛИ C считыватель подключается к удаленному узлу данных слишком много раз

0 голосов
/ 26 февраля 2020

Запуск ИЛИ C считыватель в нашем кластере oop с Cloudera 5.16. Просматривая журналы, читатель или c слишком часто подключается к удаленным узлам данных. Мы можем видеть, что читатель читает каждую партию по одному, но для каждой партии мы видим от 6 до 100 секунд «соединения с узлом данных». Это вызывает огромное количество открытых соединений TCP. Что контролирует это поведение? Почему подключается так много раз?

Спасибо 

2020-02-26 13:06:24 DEBUG RecordReaderImpl:1191 - merge = [{data range [159521, 172366), size: 12845 type: array-backed}, {data range [172416, 173301), size: 885 type: array-backed}, {data range [174843, 174874), size: 31 type: array-backed}, {data range [881522, 881552), size: 30 type: array-backed}, {data range [881617, 881662), size: 45 type: array-backed}]
2020-02-26 13:06:24 DEBUG DFSClient:953 - Connecting to datanode 10.102.26.216:9866
2020-02-26 13:06:24 DEBUG RecordReaderImpl:1187 - chunks = [{range start: 164434 end: 179533}, {range start: 179583 end: 180855}, {range start: 182724 end: 182755}, {range start: 976367 end: 976397}, {range start: 976501 end: 976590}]
2020-02-26 13:06:24 DEBUG DFSClient:953 - Connecting to datanode 10.102.26.216:9866
2020-02-26 13:06:24 DEBUG DFSClient:953 - Connecting to datanode 10.102.26.216:9866
2020-02-26 13:06:24 DEBUG DFSClient:953 - Connecting to datanode 10.102.26.216:9866
2020-02-26 13:06:24 DEBUG DFSClient:953 - Connecting to datanode 10.102.26.216:9866
2020-02-26 13:06:24 DEBUG DFSClient:953 - Connecting to datanode 10.102.26.216:9866
2020-02-26 13:06:24 DEBUG RecordReaderImpl:1191 - merge = [{data range [164434, 179533), size: 15099 type: array-backed}, {data range [179583, 180855), size: 1272 type: array-backed}, {data range [182724, 182755), size: 31 type: array-backed}, {data range [976367, 976397), size: 30 type: array-backed}, {data range [976501, 976590), size: 89 type: array-backed}]
2020-02-26 13:06:24 DEBUG DFSClient:953 - Connecting to datanode 10.102.26.216:9866
2020-02-26 13:06:24 DEBUG RecordReaderImpl:1187 - chunks = [{range start: 163706 end: 173944}, {range start: 173994 end: 174698}, {range start: 175930 end: 175961}, {range start: 708069 end: 708099}, {range start: 708164 end: 708197}]
2020-02-26 13:06:24 DEBUG DFSClient:953 - Connecting to datanode 10.102.26.216:9866
2020-02-26 13:06:24 DEBUG DFSClient:953 - Connecting to datanode 10.102.26.216:9866
2020-02-26 13:06:24 DEBUG DFSClient:953 - Connecting to datanode 10.102.26.216:9866
2020-02-26 13:06:24 DEBUG DFSClient:953 - Connecting to datanode 10.102.26.216:9866
2020-02-26 13:06:24 DEBUG DFSClient:953 - Connecting to datanode 10.102.26.216:9866
...