У меня есть тест производительности на кластере hbase, используйте "hbase performanceevaluation".
Я использую эту команду для написания теста:
hbase pe --nomapred --valueSize=10000000 --rows=1 sequentialWrite 1
Это означает, что я пишу только одну строку со строкойзначение размера «10M», и журнал показывает, что скорость составляет «8,58 МБ / с»
2019-01-23 17:44:42,515 INFO [TestClient-0] hbase.PerformanceEvaluation: Num measures (ValueSize): 0
2019-01-23 17:44:42,515 INFO [TestClient-0] hbase.PerformanceEvaluation: Mean = 0.00
Min = 0.00
Max = 0.00
StdDev = 0.00
50th = 0.00
75th = 0.00
95th = 0.00
99th = 0.00
99.9th = 0.00
99.99th = 0.00
99.999th = 0.00
2019-01-23 17:44:42,515 INFO [TestClient-0] zookeeper.ReadOnlyZKClient: Close zookeeper connection 0x4b411438 to master:2181,slave1:2181,slave2:2181
2019-01-23 17:44:42,517 INFO [TestClient-0] hbase.PerformanceEvaluation: Finished class org.apache.hadoop.hbase.PerformanceEvaluation$SequentialWriteTest in 1111ms at offset 0 for 1 rows (8.58 MB/s)
2019-01-23 17:44:42,517 INFO [TestClient-0] hbase.PerformanceEvaluation: Finished TestClient-0 in 1111ms over 1 rows
2019-01-23 17:44:42,517 INFO [main] hbase.PerformanceEvaluation: [SequentialWriteTest] Summary of timings (ms): [1111]
2019-01-23 17:44:42,518 INFO [main] hbase.PerformanceEvaluation: [SequentialWriteTest] Min: 1111ms Max: 1111ms Avg: 1111ms
2019-01-23 17:44:42,518 INFO [ReadOnlyZKClient-master:2181,slave1:2181,slave2:2181@0x4b411438] zookeeper.ZooKeeper: Session: 0x300808120ea0151 closed
Я вижу «iostat» и «top», процессор и io не являются узким местом. Какя могу улучшить скорость?Я ищу какой-то эталон, но в скорости в MB / S ничего нет.
Thx!