Я записываю эту команду на первый шаг:
sepsiscategories.createOrReplaceTempView("sepsiscategories")
, затем записываю эту команду:
spark.sql("select * from sepsiscategories").show
У меня есть эта ошибка
org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.NoClassDefFoundError: com / yammer / metrics / core / Gauge at org.apache.hadoop.hbase.client.RpcRetringCaller.translate.translate.translate.alg. hadoop.hbase.client. ScannerCallableWithReplicas $ RetringRPC.call (ScannerCallableWithReplicas.java:362) в org.apache.hadoop.hbase.client.RpcRetringCaller.callWithRetries (RpcRetringCaller.java:14apue.Found.Ru.Ru.ChBerg.Ru.ChBerg.Ru.ChBer_ChBer_Cr). ResultBoundedCompletionService.java:80) в java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1149) в Java. util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:624) в java.lang.Thread.run (Thread.java:748). Вызывается:org.apache.hadoop.hbase.ipc.AbstractRpcClient.callMethod (AbstractRpcClient.java:401) в org.apache.hadoop.hbase.ipc.AbstractRpcClient.callBlockingMethod (AbstractRpcClient.joop.hoop.hava.hg.32:ipc.AbstractRpcClient.access $ 200 (AbstractRpcClient.java:94) по адресу org.apache.hadoop.hbase.ipc.AbstractRpcClient $ BlockingRpcChannelImplementation.callBlockingMethod (AbstractRpcClient.java:57.base.h.base.hb). $ ClientService $ BlockingStub.scan (ClientProtos.java:37059) по адресу org.apache.hadoop.hbase.client.ScannerCallable.openScanner (ScannerCallable.java:405) по адресу org.apache.hadoop.hbase.client.ScannerCalble.ScannerCall.java: 274) на org.apache.hadoop.hbase.client.ScannerCallable.call (ScannerCallable.java:62) на org.apache.hadoop.hbase.client.RpcRetringCaller.callWithoutRetries (RpcRetringCaller.java:219) ... еще 7
это мой полный код:
import org.apache.hadoop.conf.Configuration
import org.apache.spark.sql.SparkSession
import org.apache.hadoop.fs.{FileSystem,FSDataInputStream,Path}
import java.net.URI
import java.io.File
import java.util.Properties
import java.sql.DriverManager
import org.apache.spark.sql.{Row,SaveMode}
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.hbase.mapreduce.TableInputFormat;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.conf.Configuration._
import spark.implicits._
import spark.sql
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._
val mimic_table_conf = HBaseConfiguration.create();
mimic_table_conf.set(TableInputFormat.INPUT_TABLE,"mimic3")
val mimic_PatternsFromHbase = spark.sparkContext.newAPIHadoopRDD(mimic_table_conf,classOf[TableInputFormat],classOf[ImmutableBytesWritable], classOf[Result])
val Patterns_fromHbase = mimic_PatternsFromHbase.mapPartitions(f=> f.map(row1 => (Bytes.toString(row1._2.getRow),
Bytes.toString(row1._2.getValue(Bytes.toBytes("sepsiscategories"),Bytes.toBytes("subject_id")))))).toDF("id","subject_id")
spark.sql("select * from sepsiscategories").show
Может кто-нибудь сказать мне, что является причиной этогоошибка и как ее исправить