HBase-Spark: проблема в распределенном сканировании на HBase - PullRequest
Новая
       11

HBase-Spark: проблема в распределенном сканировании на HBase

0 голосов
/ 17 октября 2018

Я установил hbase-3.0.0-SNAPSHOT из главного репозитория hbase и пытаюсь запустить JavaHBaseDistributedScan.java .Но не могу запустить код.Я кое-что изменил, и я запускаю hbase-3.0.0-SNAPSHOT и spark 2.1.1 в экземпляре m4xlarge на ec2intance AWS.

Примечание: JavaHBaseBulkPutExample и JavaHBaseBulkGetExample кодирует и работает нормально.

следующий код: * 

public class getData02 {

    public static void main(String[] args) {

        Logger.getRootLogger().setLevel(Level.WARN);

    if (args.length < 1) {
        System.out.println("args[0] - tableName\nargs[1] - columnfamily");
        return;
    }

    String table = args[0];

    SparkConf sparkConf = new SparkConf().setAppName("JavaHBaseBulkPutExample " + table).setMaster("local[2]")
            .set("spark.executor.memory", "1g");
    JavaSparkContext jsc = new JavaSparkContext(sparkConf);

    try {
        Configuration conf = HBaseConfiguration.create();
        JavaHBaseContext hbaseContext = new JavaHBaseContext(jsc, conf);

        /*******************************************************************************************************/
        Scan scan = new Scan();
        scan.setCaching(50);

        System.out.println("Reading Table....");
        JavaRDD<Tuple2<ImmutableBytesWritable, Result>> rdd = hbaseContext.hbaseRDD(TableName.valueOf(table), scan);

        List<String> results = rdd.map(new ScanConvertFunction()).collect();

        System.out.println("Result Size: " + results.size());

        System.out.println("Printing data");

        for (String result : results) {
            System.out.println(result);
        }

    } finally {
        jsc.stop();
    }

    System.out.println("Code Terminated");
}

private static class ScanConvertFunction implements Function<Tuple2<ImmutableBytesWritable, Result>, String> {

    private static final long serialVersionUID = 1L;

    public String call(Tuple2<ImmutableBytesWritable, Result> v1) throws Exception {

        StringBuilder b = new StringBuilder();

        Result result = v1._2();

        for (Cell cell : result.listCells()) {

            byte[] arr = cell.getRowArray();

            b.append(Bytes.toString(
                    Arrays.copyOfRange(arr, cell.getRowOffset(), cell.getRowOffset() + cell.getRowLength())));
            b.append("--->");

            b.append(Bytes.toString(Arrays.copyOfRange(arr, cell.getFamilyOffset(),
                    cell.getFamilyOffset() + cell.getFamilyLength())));
            b.append(":");

            b.append(Bytes.toString(Arrays.copyOfRange(arr, cell.getQualifierOffset(),
                    cell.getQualifierOffset() + cell.getQualifierLength())));
            b.append(" ");

            b.append(Bytes.toString(
                    Arrays.copyOfRange(arr, cell.getValueOffset(), cell.getValueOffset() + cell.getValueLength())));

            System.out.println("value of b is " + b.toString());
        }

        // System.out.println("value of b is "+ b.toString());
        return b.toString();

    }
}

}

Это то, что является ошибкой

SLF4J: Класспуть содержит несколько привязок SLF4J.SLF4J: Обнаружена привязка в [jar: file: /home/ec2-user/spark-2.1.1-bin-hadoop2.7/jars/slf4j-log4j12-1.7.16.jar! / Org / slf4j / impl / StaticLoggerBinder.класс] SLF4J: Обнаружена привязка в [jar: file: /opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/jars/slf4j-log4j12-1.7.5.jar! / org /slf4j / impl / StaticLoggerBinder.class] SLF4J: Обнаружена привязка в [jar: file: /home/ec2-user/hbase-3.0.0-SNAPSHOT/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar! /org/slf4j/impl/StaticLoggerBinder.class] SLF4J: См. http://www.slf4j.org/codes.html#multiple_bindings для объяснения.SLF4J: Фактическая привязка имеет тип [org.slf4j.impl.Log4jLoggerFactory] Таблица чтения .... 2018-10-17 17: 36: 03,281 INFO [main] zookeeper.ReadOnlyZKClient: Подключите 0x1b13467c к локальному хосту: 2181 с тайм-аутом сеанса = 218190000 мс, повтор 30, интервал повторения 1000 мс, keepAlive = 60000 мс 2018-10-17 17: 36: 03,310 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: Клиентская среда: zookeeper.version = 3.4.10-39d3a4f26ad928f9649649339649a9bcrcrccrcrccrccr.23.03.2017 10:13 GMT 2018-10-17 17: 36: 03,310 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: Клиентская среда: host.name = ip-172-31-35-230.ec2.internal 2018-10-17 17: 36: 03,310 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: Клиентская среда: java.version = 1.8.0_161 2018-10-17 17: 36: 03,310 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: Клиентская среда: java.vendor = Oracle Corporation 2018-10-17 17: 36: 03,310 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: Клиентская среда: java.home = / usr / java / jdk1.8.0_161 / jre 2018-10-17 17: 36: 03,310 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: r: / opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/.//log4j-1.2.17.jar:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/.//junit-4.11.jar:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/.//jsr305-3.0.0.jar:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/.//jsp-api-2.1.jar:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/.//jsch-0.1.42.jar:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/.//jetty-util-6.1.26.cloudera.4.jar: / опт / Cloudera / посылки / CDH / Библиотека / Hadoop MapReduce-/.// пристань-6.1.26.cloudera.4.jar: / опт / Cloudera / посылки / CDH / Библиотека / Hadoop-mapreduce /.// zookeeper.jar: / опт / Cloudera / посылки / CDH / Библиотека / Hadoop MapReduce-/.// отстрелить-1.1.jar: / опт / Cloudera / посылки / CDH / Библиотека / Hadoop-MapReduce /.//jets3t-0.9.0.jar:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/.//jersey-server-1.9.jar:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/.//jersey-json-1.9.jar:/oпт / Cloudera / посылки / CDH / Библиотека / Hadoop MapReduce-/.// Джерси-ядро-1.9.jar: /home/ec2-user/hbase-3.0.0-SNAPSHOT/bin /../ Библиотека / клиент-облицовочный-thirdparty / slf4j-log4j12-1.7.25.jar 2018-10-17 17: 36: 03,311 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: Клиентская среда: java.library.path = / opt / cloudera /parcels / CDH-5.15.1-1.cdh5.15.1.p0.4 / lib / hadoop / lib / native 2018-10-17 17: 36: 03,311 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: Клиентenvironment: java.io.tmpdir = / tmp 2018-10-17 17: 36: 03,311 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: Клиентская среда: java.compiler = 2018-10-17 17:36:03,311 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: Клиентская среда: os.name = Linux2018-10-17 17: 36: 03,311 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: Клиентская среда: os.arch = amd64 2018-10-17 17: 36: 03,311 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @0x1b13467c] zookeeper.ZooKeeper: Клиентская среда: os.version = 3.10.0-862.el7.x86_64 2018-10-17 17: 36: 03,311 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: Клиентская среда: пользователь.name = ec2-user 2018-10-17 17: 36: 03,311 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: Клиентская среда: user.home = / home / ec2-user 2018-10-17 17:36: 03,311 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: Клиентская среда: user.dir = / home / ec2-user / hbase-3.0.0-SNAPSHOT / bin 2018-10-17 17: 36: 03,312ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper.ZooKeeper: Инициирование соединения с клиентом, connectString = localhost: 2181 sessionTimeout = 90000 watcher=org.apache.hadoop.hbase.zookeeper.ReadOnlyZKClient51 88 8 8 8 8 8 8-17 17: 36: 03,336 INFO [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c-SendThread (localhost: 2181)] zookeeper.ClientCnxn: Открытие подключения сокета к серверу localhost / 127.0.0.1: 2181.Не будет пытаться аутентифицироваться с использованием SASL (неизвестная ошибка) 2018-10-17 17: 36: 03,340 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c-SendThread (localhost: 2181)] zookeeper.ClientCnxn: установлено сокетное соединение с localhost / 127.0.0.1: 2181, начало сеанса 2018-10-17 17: 36: 03,348 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c-SendThread (localhost: 2181)] zookeeper.ClientCnxn: Установление сеанса завершено на сервере localhost / 127.0.0.1: 2181,sessionid = 0x16683161e9c0015, согласованное время ожидания = 60000 2018-10-17 17: 36: 03,490 INFO [main] mapreduce.RegionSizeCalculator: Расчет размеров области для таблицы «rawat».2018-10-17 17: 36: 04,071 INFO [main] zookeeper.ReadOnlyZKClient: Закрыть соединение zookeeper 0x1b13467c с локальным узлом: 2181 2018-10-17 17: 36: 04,081 INFO [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c] zookeeper:Сессия: 0x16683161e9c0015 закрыта 2018-10-17 17: 36: 04,083 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x1b13467c-EventThread] zookeeper.ClientCnxn: событие EventThread закрыто для сеанса: исключение логического потока 0x16683161e9c0015..DoNotRetryIOException: /0.0.0.0:60020 не может прочитать параметр вызова с клиента 172.31.35.230;java.lang.UnsupportedOperationException: GetRegionLoad в sun.reflect.NativeConstructorAccessorImpl.newInstance0 (родной метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.jpg)java.lang.reflect.Constructor.newInstance (Constructor.java:423) в org.apache.hadoop.hbase.ipc.RemoteWithExtrasException.instantiateException (RemoteWithExtrasException.java:100) в org.apache.hadoop.hbaseithipEr.unwrapRemoteException (RemoteWithExtrasException.java:90) в org.apache.hadoop.hbase.shaded.protobuf.ProtobufUtil.makeIOExceptionOfException (ProtobufUtil.java:361) в org.apache.hadoop.hbase.shatilProubufubutobubuJava: 338) в org.apache.hadoop.hbase.client.HBaseAdmin.getRegionMetrics (HBaseAdmin.java:2182) в org.apache.hadoop.hbase.mapreduce.RegionSizeCalculator.init (RegionSizeCalculator.java:82) на org.apache.hadoop.hbase.mapreduce.RegionSizeCalculator. (RegionSizeCalculator.java:61) на org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.createRegionSizeCalculator (TableInputForgap.base.jp. AthBase.j)hbase.TableInputFormat.java:254)в org.apache.spark.rdd.NewHadoopRDD.getPartitions (NewHadoopRDD.scala: 125) в org.apache.spark.rdd.RDD $$ anonfun $ разделов $ 2.apply (RDD.scala: 252) в org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD.scala: 250) в scala.Option.getOrElse (Option.scala: 121) в org.apache.spark.rdd.RDD.partitions (RDD.scala: 250) в org.apache.spark.rdd.MapPartitionsRDD.getPartitions (MapPartitionsRDD.scala: 35) в org.apache.spark.rdd.RDD $$ anonfun $ разделов $ 2.apply (RDD.scala: 252) в org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD.scala: 250) в scala.Option.getOrElse (Option.scala: 121) в org.apache.spark.rdd.RDD.partitions (RDD.scala:250) в org.apache.spark.rdd.MapPartitionsRDD.getPartitions (MapPartitionsRDD.scala: 35) в org.apache.spark.rdd.RDD $$ anonfun $ разделов $ 2.apply (RDD.scala: 252) в org.apache.spark.rdd.RDD $$ anonfun $ разделы $ 2.apply (RDD.scala: 250) в scala.Option.getOrElse (Option.scala: 121) в org.apache.spark.rdd.RDD.partitions (RDD.scala: 250) в org.apache.spark.SparkContext.runJob (SparkContext.scala: 1965) в org.apache.spark.rdd.RDD $$ anonfun $ collect $ 1.apply (RDD.scala: 936) в org.apache.spark.rdd.RDDOperationScope $ .withScope (RDDOperationScope.scala: 151) в org.apache.spark.rdd.RDDOperationScope $ .withScope (RDDOperationScope.scala: 112) в org.apache.spark.rdd.RDD.withScope (RDD.scala: 362) в org.apache.spark.rdd.RDD.collect (RDD.scala: 935) в org.apache.spark.api.java.JavaRDDLike $ class.collect (JavaRDDLike.scala: 361) в org.apache.spark.api.java.AbstractJavaRDDLike.collect (JavaRDDLike.scala: 45) at hbark.getData02.main (getData02.java:58) Причина: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException (org.apache.hadoop.hbase.DoNotRetryIOException): /0.0.0.0:60020 невозможночитать параметры вызова из клиента 172.31.35.230;java.lang.UnsupportedOperationException: GetRegionLoad в org.apache.hadoop.hbase.ipc.AbstractRpcClient.onCallFinished (AbstractRpcClient.java:387) в org.apache.hadoop.hbase.ipc.AbstractRpccjj.jpgв org.apache.hadoop.hbase.ipc.AbstractRpcClient $ 3.run (AbstractRpcClient.java:410) в org.apache.hadoop.hbase.ipc.AbstractRpcClient $ 3.run (AbstractRpcClient.java:406) в org.ap.hbase.ipc.Call.callComplete (Call.java:103) в org.apache.hadoop.hbase.ipc.Call.setException (Call.java:118) в org.apache.hadoop.hbase.ipc.NettyRpcDuplexHandler.readResponse(NettyRpcDuplexHandler.java:162) в org.apache.hadoop.hbase.ipc.NettyRpcDuplexHandler.channelRead (NettyRpcDuplexHandler.java:192) в org.apache.hbase.thirdparty.th.net.CandClayConHandChannelHab: 362) в org.apache.hbase.thirdparty.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead (AbstractChannelHandlerContext.java:348) в илиg.apache.hbase.thirdparty.io.netty.channel..362: 340) at org.apache.hbase.thirdparty.io.netty.handler.timeout.IdleStateHandler.channelRead (IdleStateHandler.java:286)на org.apache.hbase.thirdparty.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead (AbstractChannelHandlerContext.java:362) при org.apache.hbase.thirdparty.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead (AbstractChannelHandlerContext.java:348)в org.apache.hbase.thirdparty.io.netty.channel.AbstractChannelHandlerContext.fireChannelRead (AbstractChannelHandlerContext.java:340) в org.apache.hbase.thirdparty.io.netty.channel.DefaultChannelPipeline $avaConad.chan.jpgPlayline.Contain.jp.japConte.jp ().1359) по адресу org.apache.hbase.thirdparty.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead (AbstractChannelHandlerContext.java:362) по адресу org.apache.hbase.thirdparty.io.netty.channel.AbstractChantelHhannelHano348) в org.apache.hbase.thirdparty.io.netty.channel.DefaultChannelPipeline.fireChannelRead (DefaultChannelPipeline.java:935) в org.apache.hbase.thirdparty.io.netty.channel.nio.AbstractNioByteChannel $ NioByteUnsafe.read (AbstractNioByteChannel.java:138) в org.apache.hbase.thirdparty.io.netty.channel.nio.NioEventLoop.processSelectedKey (NioEventLoop.java:645) в org.apache.hbioth.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized (NioEventLoop.java:580) в org.apache.hbase.thirdparty.io.netty.channel.nio.NioEventLoop.processSelectedKeys (NioEventLoop.jaseg. atb).thirdparty.io.netty.channel.nio.NioEventLoop.run (NioEventLoop.java:459) в org.apache.hbase.thirdparty.io.netty.util.concurrent.SingleThreadEventExecutor $ 5.run (SingleThreadEventExecutor.java:858) или.apache.hbase.thirdparty.io.netty.util.concurrent.DefaultThreadFactory $ DefaultRunnableDecorator.run (DefaultThreadFactory.java:138) в java.lang.Thread.run (Thread.java:748) [ec2-user @ ip-172-31-35-230 bin] $ cp ~ / HBaseSpark / SparkHBase-0.0.1-SNAPSHOT.jar ~ / hbase-3.0.0-SNAPSHOT / lib [ec2-user @ ip-172-31-35-230 bin]$ ./hbase hbark.getData02 rawat SLF4J: путь к классу содержит несколько привязок SLF4J.SLF4J: Обнаружена привязка в [jar: file: /home/ec2-user/spark-2.1.1-bin-hadoop2.7/jars/slf4j-log4j12-1.7.16.jar! / Org / slf4j / impl / StaticLoggerBinder.класс] SLF4J: Обнаружена привязка в [jar: file: /opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/jars/slf4j-log4j12-1.7.5.jar! / org /slf4j / impl / StaticLoggerBinder.class] SLF4J: Обнаружена привязка в [jar: file: /home/ec2-user/hbase-3.0.0-SNAPSHOT/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar! /org/slf4j/impl/StaticLoggerBinder.class] SLF4J: См. http://www.slf4j.org/codes.html#multiple_bindings для объяснения.SLF4J: Фактическая привязка имеет тип [org.slf4j.impl.Log4jLoggerFactory] Таблица чтения .... 2018-10-17 17: 45: 09,322 INFO [main] zookeeper.ReadOnlyZKClient: Соедините 0x0d5bb1c4 с локальным узлом: 2181 с тайм-аутом сеанса = 218190000 мс, повтор 30, интервал повторения 1000 мс, keepAlive = 60000 мс 2018-10-17 17: 45: 09,338 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4] zookeeper.ZooKeeper: Клиентская среда: zookeeper.version = 3.4.10-39d3a3bfd9b9b9649a9b9a9b9a9b9b923.03.2017 10:13 GMT 2018-10-17 17: 45: 09,338 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4] zookeeper.ZooKeeper: Клиентская среда: host.name = ip-172-31-35-230.ec2.internal 2018-10-17 17: 45: 09,338 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4] zookeeper.ZooKeeper: Клиентская среда: java.version = 1.8.0_161 2018-10-17 17: 45: 09,338 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4] zookeeper.ZooKeeper: Клиентская среда: java.vendor = Oracle Corporation 2018-10-17 17: 45: 09,338 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4] zookeeper.ZooKeeper: Клиентская среда: java.home = / usr / java / jdk1.8.0_161 / jre2018-10-17 17: 45: 09,338 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4] zookeeper.ZooKeeper: r: / opt / cloudera / parcels / CDH / lib / hadoop-mapreduce / .// log4j-1.2.17.баночка: / OPT / Cloudera / посылки / CDH / Библиотека / Hadoop MapReduce-/.// JUnit-4.11.jar: / OPT / Cloudera / посылки / CDH / Библиотека / Hadoop MapReduce-/.// jsr305-3.0.0.баночка: / OPT / Cloudera / посылки / CDH / Библиотека / Hadoop MapReduce-/.//-апи JSP-2.1.jar: / Opt / Cloudera / посылки / CDH / Библиотека / Hadoop MapReduce-/.// JSch-0,1.42.jar: / опт / Cloudera / посылки / CDH / Библиотека / Hadoop MapReduce-/.// пристань-Util-6.1.26.cloudera.4.jar: / опт / Cloudera / посылки / CDH / Библиотека / Hadoop MapReduce-/.//jetty-6.1.26.cloudera.4.jar:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/.//zookeeper.jar:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce /.// отстрелить-1.1.jar: / опт / Cloudera / посылки / CDH / Библиотека / Hadoop MapReduce-/.// Jets3t-0.9.0.jar: / опт / Cloudera / посылки / CDH / Библиотека / Hadoop-mapreduce /.// Джерси-сервера 1.9.jar: / OPT / Cloudera / посылки / CDH / Библиотека / Hadoop MapReduce-/.// Джерси-JSON-1.9.jar: / опт / Cloudera / посылки / CDH / Библиотека/hadoop-mapreduce/.//jersey-core-1.9.jar:/home / ec2-пользователь / hbase-3.0.0-SNAPSHOT / bin /../ lib / на стороне клиента-третьего лица / slf4j-log4j12-1.7.25.jar 2018-10-17 17: 45: 09,338 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4] zookeeper.ZooKeeper: Клиентская среда: java.library.path = / opt / cloudera / parcels / CDH-5.15.1-1.cdh5.15.1.p0.4 / lib / hadoop / lib / native 2018-10-17 17: 45: 09,338 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4] zookeeper.ZooKeeper: Клиентская среда: java.io.tmpdir = / tmp 2018-10-17 17: 45: 09,338 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost:2181 @ 0x0d5bb1c4] zookeeper.ZooKeeper: Клиентская среда: java.compiler = 2018-10-17 17: 45: 09,338 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4] zookeeper.ZooKeeper: Клиентская среда: os.name = Linux 2018-10-17 17: 45: 09,338 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4] zookeeper.ZooKeeper: Клиентская среда: os.arch = amd64 2018-10-17 17: 45: 09,338 ИНФО [ReadOnlyZKClient-localhost: 2181 @ 0x0k0bb].ZooKeeper: Клиентская среда: os.version = 3.10.0-862.el7.x86_64 2018-10-17 17: 45: 09,338 ИНФОРМАЦИЯ [ЧитатьOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4] zookeeper.ZooKeeper: Клиентская среда: user.name = ec2-user 2018-10-17 17: 45: 09,338 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4] zookeeper.ZooKper user: user::.home = / home / ec2-user 2018-10-17 17: 45: 09,338 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4] zookeeper.ZooKeeper: Клиентская среда: user.dir = / home / ec2-user / hbase-3.0.0-SNAPSHOT / bin 2018-10-17 17: 45: 09,340 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4] zookeeper.ZooKeeper: Инициирование клиентского подключения, connectString = localhost: 2181 sessionTimeout = 90000 watcher = org.apache.hadoop.hbase.zookeeper.ReadOnlyZKClient$$Lambda$17/551383162@6993a9cd 2018-10-17 17: 45: 09,367 INFO [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4-SendThread (локальный хост: соединение с локальным хостом: 2181) zooke: открытие локального сокета для сокета-сокета./127.0.0.1:2181.Не будет пытаться аутентифицироваться с использованием SASL (неизвестная ошибка) 2018-10-17 17: 45: 09,372 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4-SendThread (localhost: 2181)] zookeeper.ClientCnxn: установлено сокетное соединение с localhost / 127.0.0.1: 2181, начало сеанса 2018-10-17 17: 45: 09,388 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4-SendThread (localhost: 2181)] zookeeper.ClientCnxn: создание сеанса завершено на сервере localhost / 127.0.0.1: 2181,sessionid = 0x16683161e9c003a, согласованное время ожидания = 60000 2018-10-17 17: 45: 09,529 INFO [main] mapreduce.RegionSizeCalculator: Расчет размеров области для таблицы «rawat».2018-10-17 17: 45: 10,089 ИНФОРМАЦИЯ [main] zookeeper.ReadOnlyZKClient: Закрыть соединение zookeeper 0x0d5bb1c4 с локальным хостом: 2181 2018-10-17 17: 45: 10,093 INFO [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1perZZooz zookeZ zooke.ZOZOOZ.ZOOKСессия: 0x16683161e9c003a закрыта 2018-10-17 17: 45: 10,093 ИНФОРМАЦИЯ [ReadOnlyZKClient-localhost: 2181 @ 0x0d5bb1c4-EventThread] zookeeper.ClientCnxn: EventThread выключен для сеанса: 0x16683161e9c003Исключение в потоке "main" org.apache.hadoop.hbase.DoNotRetryIOException: /0.0.0.0:60020 не может прочитать параметр вызова из клиента 172.31.35.230;java.lang.UnsupportedOperationException: GetRegionLoad в sun.reflect.NativeConstructorAccessorImpl.newInstance0 (родной метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.jpg)java.lang.reflect.Constructor.newInstance (Constructor.java:423) в org.apache.hadoop.hbase.ipc.RemoteWithExtrasException.instantiateException (RemoteWithExtrasException.java:100) в org.apache.hadoop.hbaseithipEr.unwrapRemoteException (RemoteWithExtrasException.java:90) в org.apache.hadoop.hbase.shaded.protobuf.ProtobufUtil.makeIOExceptionOfException (ProtobufUtil.java:361) в org.apache.hadoop.hbase.shatilProubufubutobubuJava: 338) в org.apache.hadoop.hbase.client.HBaseAdmin.getRegionMetrics (HBaseAdmin.java:2182) в org.apache.hadoop.hbase.mapreduce.RegionSizeCalculator.init (RegionSizeCalculator.java:82) на org.apache.hadoop.hbase.mapreduce.RegionSizeCalculator. (RegionSizeCalculator.java:61) на org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.createRegionSizeCalculator (TableInputForgap.base.jp. AthBase.j)hbase.TableInputFormat.java:254) в org.apache.spark.rdd.NewHadoopRDD.getPartitions (NewHadoopRDD.scala: 125) в org.apache.spark.rdd.RDD $$ anonfun $ разделов $ 2.apply (RDD.scala: 252)в org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD.scala: 250) в scala.Option.getOrElse (Option.scala: 121) в org.apache.spark.rdd.RDD.partitions(RDD.scala: 250) в org.apache.spark.rdd.MapPartitionsRDD.getPartitions (MapPartitionsRDD.scala: 35) в org.apache.spark.rdd.RDD $$ anonfun $ разделов $ 2.apply (RDD.scala: 252) на org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD.scala: 250) на scala.Option.getOrElse (Option.scala: 121) на org.apache.spark.rdd.RDD.partitions (RDD.scala: 250)в org.apache.spark.rdd.MapPartitionsRDD.getPartitions (MapPartitionsRDD.scala: 35) в org.apache.spark.rdd.RDD $$ anonfun $ разделов $ 2.apply (RDD.scala: 252) в org.apache.spark.rdd.RDD $$ anonfun $ partitions $ 2.apply (RDD.scala: 250) в scala.Option.getOrElse (Option.scala: 121) в org.apache.spark.rdd.RDD.partitions (RDD.scala: 250) в org.apache.spark.SparkContext.runJob (SparkContext.scala: 1965) в org.apache.spark.rdd.RDD $$ anonfun $ собирать $ 1.apply (RDD.scala: 936) в org.apache.spark.rdd.RDDOperationScope $ .withScope (RDDOperationScope.scala: 151) в org.apache.spark.rdd.RDDOperationScope $ .withScope (RDDOperationScope.scala: 112) в org.apache.spark.rdd.RDD.withScope (RD362) в org.apache.spark.rdd.RDD.collect (RDD.scala: 935) в org.apache.spark.api.java.JavaRDDLike $ class.collect (JavaRDDLike.scala: 361) в org.apache.spark.api.java.AbstractJavaRDDLike.collect (JavaRDDLike.scala: 45) в hbark.getData02.main (getData02.java:56), вызванный: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException (org.apache.hadoop.hbase.DoNotRetryIOException): /0.0.0.0: 60020 не может прочитать параметр вызова от клиента 172.31.35.230;java.lang.UnsupportedOperationException: GetRegionLoad в org.apache.hadoop.hbase.ipc.AbstractRpcClient.onCallFinished (AbstractRpcClient.java:387) в org.apache.hadoop.hbase.ipc.AbstractRpccjj. 100.client ()в org.apache.hadoop.hbase.ipc.AbstractRpcClient $ 3.run (AbstractRpcClient.java:410)в org.apache.hadoop.hbase.ipc.AbstractRpcClient $ 3.run (AbstractRpcClient.java:406) в org.apache.hadoop.hbase.ipc.Call.callComplete (Call.java:103) в org.apache.hadoop.hbase.ipc.Call.setException (Call.java:118) в org.apache.hadoop.hbase.ipc.NettyRpcDuplexHandler.readResponse (NettyRpcDuplexHandler.java:162) в org.apache.hadoop.hbase.ipc.nellexH (.NettyRpcDuplexHandler.java:192) в org.apache.hbase.thirdparty.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead (AbstractChannelHandlerContext.java:362) в org.apache.hbase.thnelkehanhanChannelChannelChannel.ioAbstractChannelHandlerContext.java:348) по адресу org.apache.hbase.thirdparty.io.netty.channel.AbstractChannelHandlerContext.fireChannelRead (AbstractChannelHandlerContext.java:340) по адресу org.apache.hbase.thirdpartyTco.Message.co.netfireChannelRead (ByteToMessageDecoder.java:310) в org.apache.hbase.thirdparty.io.netty.handler.codec.ByteToMessageDecoder.channelRead (ByteToMessageDecoder.java:284) в org.apache.hbase.thirdparty.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead (AbstractChannelHandlerContext.java:362 ).party.yh.AbstractChannelHandlerContext.invokeChannelRead (AbstractChannelHandlerContext.java:348) по адресу org.apache.hbase.thirdparty.io.netty.channel.AbstractChannelHandlerContext.fireChannelRead (AbstractChannelHandlerContext.jparty.apy.apty.aph .thaththapth.thh) .3timeout.channel.AbstractChannelHandlerContext.invokeChannelRead (AbstractChannelHandlerContext.java:348) в org.apache.hbase.thirdparty.io.netty.channel.AbstractChannelHandlerContext.fireChannelRead (AbstractChannelHandlerConap.htg.hb) ath.dparty.io.netty.channel.DefaultChannelPipeline $ HeadContext.channelRead (DefaultChannelPipeline.java:1359) в org.apache.hbase.thirdparty.io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead (AbstractChannel.and) org.hbase.thirdparty.io.netty.channel.hbase.thirdparty.io.netty.channel.nio.AbstractNioByteChannel $ NioByteUnsafe.read (AbstractNioByteChannel.java:138) в org.apache.hbase.thirdparty.io.netty.channel.nio.NioEventLoop.45.jj) в org.apache.hbase.thirdparty.io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized (NioEventLoop.java:580) в org.apache.hbase.thirdparty.io.netty.channel.nio.NioEventLoopEe.java: 497) на org.apache.hbase.thirdparty.io.netty.channel.nio.NioEventLoop.run (NioEventLoop.java:459) в org.apache.hbase.thirdparty.io.netty.util.concurrent.SingleThreadEventExecutor $ 5.run (SingleThreadEventExecutor.java:858) в org.apache.hbase.io.netty.util.concurrent.DefaultThreadFactory $ DefaultRunnableDecorator.run (DefaultThreadFactory.java:138) в java.lang.Thread.run (Thread.java:748)

...