Как улучшить производительность записи hbase, и есть ли какой-то тест? - PullRequest
0 голосов
/ 23 января 2019

У меня есть тест производительности на кластере hbase, используйте "hbase performanceevaluation".

Я использую эту команду для написания теста:

hbase pe --nomapred --valueSize=10000000 --rows=1  sequentialWrite 1

Это означает, что я пишу только одну строку со строкойзначение размера «10M», и журнал показывает, что скорость составляет «8,58 МБ / с»

2019-01-23 17:44:42,515 INFO  [TestClient-0] hbase.PerformanceEvaluation: Num measures (ValueSize): 0
2019-01-23 17:44:42,515 INFO  [TestClient-0] hbase.PerformanceEvaluation: Mean      = 0.00
Min       = 0.00
Max       = 0.00
StdDev    = 0.00
50th      = 0.00
75th      = 0.00
95th      = 0.00
99th      = 0.00
99.9th    = 0.00
99.99th   = 0.00
99.999th  = 0.00
2019-01-23 17:44:42,515 INFO  [TestClient-0] zookeeper.ReadOnlyZKClient: Close zookeeper connection 0x4b411438 to master:2181,slave1:2181,slave2:2181
2019-01-23 17:44:42,517 INFO  [TestClient-0] hbase.PerformanceEvaluation: Finished class org.apache.hadoop.hbase.PerformanceEvaluation$SequentialWriteTest in 1111ms at offset 0 for 1 rows (8.58 MB/s)
2019-01-23 17:44:42,517 INFO  [TestClient-0] hbase.PerformanceEvaluation: Finished TestClient-0 in 1111ms over 1 rows
2019-01-23 17:44:42,517 INFO  [main] hbase.PerformanceEvaluation: [SequentialWriteTest] Summary of timings (ms): [1111]
2019-01-23 17:44:42,518 INFO  [main] hbase.PerformanceEvaluation: [SequentialWriteTest] Min: 1111ms Max: 1111ms Avg: 1111ms
2019-01-23 17:44:42,518 INFO  [ReadOnlyZKClient-master:2181,slave1:2181,slave2:2181@0x4b411438] zookeeper.ZooKeeper: Session: 0x300808120ea0151 closed

Я вижу «iostat» и «top», процессор и io не являются узким местом. Какя могу улучшить скорость?Я ищу какой-то эталон, но в скорости в MB / S ничего нет.

Thx!

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...