Независимо от того, сколько ресурсов я вкладываю в систему, оно не может быть меньше 11 минут.
Я пытаюсь распараллелить простую программу Sparkобрабатывает данные HBase параллельно.
// Get Hbase RDD
JavaPairRDD<ImmutableBytesWritable, Result> hBaseRDD =
jsc.newAPIHadoopRDD(
conf,
TableInputFormat.class,
ImmutableBytesWritable.class,
Result.class
);
long count = hBaseRDD.count();
Проблема в том, что моя программа работает так же медленно, как самый большой бар.
Найденочто ЗК долго не закрывается.
18/05/19 17:26:55 INFO zookeeper.ClientCnxn: Session establishment complete on server <IP>:2181, sessionid = 0x163662b64eb046d, negotiated timeout = 40000
18/05/19 17:38:00 INFO zookeeper.ZooKeeper: Session: 0x163662b64eb046d closed