Подключение Apache Spark локально к Hive в Azure

Question

Мне нужно запросить таблицу улья, которая находится на лазурном, я использую приведенный ниже код для установления соединения, но не уверен, что он не может подключиться. Использование Spark 1.6 с Scala

Код:

package Test
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{SQLContext, SaveMode, sources}


object BatchHive {
  def main(args: Array[String]): Unit = {

    // get spark configuration
    val conf = new SparkConf()
      .setAppName("TestSparkOnRemoteHive")
    conf.setMaster("local[*]")
    System.setProperty("hive.metastore.uris", "thrift://hn0-azklt.abcdefghijkl.fx.internal.cloudapp.net:1403")
    import org.apache.spark.sql.hive.HiveContext
    val sc = new  SparkContext(conf)
    val hiveContext = new HiveContext(sc)
    implicit val sqlContext = new SQLContext(sc)

    import org.apache.spark.sql.functions._
    import sqlContext.implicits._

    val df1 = sqlContext.sql(s"use $data_profiling, sqlContext.sql("show tables")");

Я использую Spark 1.6, а для файла POM установлено значение

<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.11</artifactId>
        <version>${spark.version}</version>
        <scope>compile</scope>
        <!-- provided -->
    </dependency>

Пожалуйста, помогитея .... я устанавливаю соединение с Hive Azure для доступа к таблице из-за искры, работающей на локальном компьютере. Мне не хватает чего-либо для настройки в коде или в файле POM ....... Высоко ценю ваше предложение ....