Преобразовать результат сканирования Hbase RDD в кадр данных: java - PullRequest
0 голосов
/ 23 апреля 2020

Я отсканировал базу данных, и мои результаты выглядят следующим образом:

 keyvalues={
100/data:branch/1424183780897/Put/vlen=3468/seqid=0, 100/data:element:1018/1337724025432/Put/vlen=104/seqid=0, 100/data:element:10372/1337724025432/Put/vlen=104/seqid=0, 100/data:element:1053/1337724025432/Put/vlen=104/seqid=0, 100/data:element:1058/1337724025432/Put/vlen=104/seqid=0, 100/data:element:115/1337724025432/Put/vlen=104/seqid=0, 100/data:element:119/1337724025432/Put/vlen=104/seqid=0, 100/data:element:1246/1463217291849/Put/vlen=120/seqid=0, 100/data:element:1327/1337724025432/Put/vlen=104/seqid=0, 100/data:element:1344/1337724025432/Put/vlen=104/seqid=0, 100/data:element:13763/1415142609660/Put/vlen=150/seqid=0, 100/data:element:1419/1337724025432/Put/vlen=104/seqid=0, 100/data:element:1520/1337724025432/Put/vlen=104/seqid=0, 100/data:element:1582/1337724025432/Put/vlen=104/seqid=0, 100/data:element:16020/1337724025432/Put/vlen=104/seqid=0, 100/data:element:16730/1337724025432/Put/vlen=104/seqid=0, 100/data:element:1723/1337724025432/Put/vlen=104/seqid=0, 100/data:element:1739/1337724025432/Put/vlen=104/seqid=0, 100/data:element:1880/1337724025432/Put/vlen=104/seqid=0, 100/data:element:19042/1337724025432/Put/vlen=104/seqid=0, 100/data:element:1993/1337724025432/Put/vlen=104/seqid=0, 100/data:element:2025/1409344777361/Put/vlen=150/seqid=0, 100/data:element:210/1337724025432/Put/vlen=104/seqid=0, 100/data:element:217/1465149953146/Put/vlen=112/seqid=0, 100/data:element:218/1415248678104/Put/vlen=112/seqid=0, 100/data:element:2306/1337724025432/Put/vlen=104/seqid=0, 100/data:element:25/1337724025432/Put/vlen=104/seqid=0, 100/data:element:3632/1337724025432/Put/vlen=104/seqid=0, 100/data:element:372/1337724025432/Put/vlen=104/seqid=0, 100/data:element:4199/1337724025432/Put/vlen=104/seqid=0, 100/data:element:4218/1337724025432/Put/vlen=104/seqid=0, 100/data:element:424/1337724025432/Put/vlen=104/seqid=0, 100/data:element:429/1337724025432/Put/vlen=104/seqid=0, 100/data:element:4369/1392229915064/Put/vlen=150/seqid=0, 100/data:element:444/1455903416549/Put/vlen=154/seqid=0, 100/data:element:45931/1337724025432/Put/vlen=104/seqid=0, 100/data:element:460/1337724025432/Put/vlen=104/seqid=0, 100/data:element:466/1337724025432/Put/vlen=104/seqid=0, 100/data:element:478/1337724025432/Put/vlen=104/seqid=0, 100/data:element:491/1337724025432/Put/vlen=104/seqid=0, 100/data:element:493/1337724025432/Put/vlen=104/seqid=0, 100/data:element:4973/1337724025432/Put/vlen=104/seqid=0, 100/data:element:524/1337724025432/Put/vlen=104/seqid=0, 100/data:element:59357/1585985348787/Put/vlen=129/seqid=0, 100/data:element:6273/1337724025432/Put/vlen=104/seqid=0, 100/data:element:63176/1560831483600/Put/vlen=129/seqid=0, 100/data:element:63186/1372360890426/Put/vlen=117/seqid=0, 100/data:element:63308/1483727019634/Put/vlen=134/seqid=0, 100/data:element:6702/1341873398388/Put/vlen=140/seqid=0, 100/data:element:729/1337724025432/Put/vlen=104/seqid=0, 100/data:element:7490/1337724025432/Put/vlen=104/seqid=0, 100/data:element:781/1337724025432/Put/vlen=104/seqid=0, 100/data:element:796/1337724025432/Put/vlen=104/seqid=0, 100/data:element:797/1337724025432/Put/vlen=104/seqid=0, 100/data:element:903/1337724025432/Put/vlen=104/seqid=0, 100/data:element:99/1337724025432/Put/vlen=104/seqid=0}

Я хочу преобразовать их в кадр данных, сопоставив их с моим классом POJO (Branch. java). Как этого добиться, используя createDataset функцию

scannedData is the RDD
Branch is the POJO class

Когда я использую:

sparkSession.createDataset(scannedData.values.rdd(), Encoders.bean(Branch.class));

Выдает ошибку «Не удается разрешить метод createDataset(org.apache.spark.rdd.RDD<org.apache.hadoop.hbase.client.Result>,org.apache.spark.sql.Encoder<T>)'»

Может ли кто-нибудь помочь.

...