Как подключиться к HBase из спарка с помощью Kerberos - PullRequest
Новая
       29

Как подключиться к HBase из спарка с помощью Kerberos

0 голосов
/ 15 ноября 2018

Может кто-нибудь подскажите, пожалуйста, как подключиться к HBase из спарка с помощью kerberos. Я использую приведенный ниже код для создания соединения с HBase, но проблемы по-прежнему возникают. 

 val genericMessage = messages.mapPartitions(iter => {
      val context = TaskContext.get
      logger.info((s"log - Process for partition: ${context.partitionId} "))
      val partitionId: Int = context.partitionId

      val conf: Configuration = HBaseConfiguration.create()
      conf.set("hbase.zookeeper.quorum", ZOOKEEPER_QOURUM)
      conf.set("hbase.rpc.timeout", "1800000")
      conf.set("hbase.client.scanner.timeout.period", "1800000")
      conf.set("hadoop.security.authentication", "kerberos")
      import org.apache.hadoop.security.UserGroupInformation
      UserGroupInformation.loginUserFromKeytab("customer@mail.com", keyTab)
      val connection: Connection = ConnectionFactory.createConnection(conf)
      val custTable Table = connection.getTable(TableName.valueOf("prod:cusotmer"))

      val avroMessages = iter.map(msg => (msg._1, enrichment(rec._1, decodeBinaryToAvro(rec._2)))
      connection.close()
      custTable.close()
      avroMessages
    })

Спасибо

...