Нужен фрагмент кода Scala для подключения к Impala - PullRequest
Новая
       11

Нужен фрагмент кода Scala для подключения к Impala

0 голосов
/ 14 октября 2019

Я ищу фрагмент кода scala для подключения к Impala

. Есть SimbaImpalaDriver и thrift.ImpalaService для подключения к Impala,

, который ищет наиболее подходящую реализацию для приложений с большими задержками и большими объемами.

успешное соединение с Impala и выполнение операции CURD

refred links. https://github.com/ianbuss/example-clients/blob/master/impala/src/main/scala/com/cloudera/fce/exampleclients/impala/scala/ImpalaJdbcClientScala.scala

https://github.com/DanielleSucher/impala-scala/blob/master/src/main/scala/com/daniellesucher/impala/Connection.scala

фрагмент кода: 

 def run(): Unit = {

    val spark = SparkSession.builder()
      .appName("modelverification")
      .config("spark.master", "local")
      .getOrCreate();

    val JDBCDriver = "com.cloudera.impala.jdbc41.Driver"
    val ConnectionURL = "jdbc:impala://TBD"

    val lines = spark.readStream.format("jdbc")
      .option("url", "ConnectionURL")
      .option("dbtable", "schema.tablename")
      .option("user", "username")
      .option("password", "password")
      .load()

  }
...