Соедините Spark и Power BI, используя чистый код Java - PullRequest
0 голосов
/ 29 марта 2019

Я пытаюсь подключить MS Power BI к локальному сеансу Spark (все это происходит на компьютере с Windows). Запуск сеанса Spark выполняется с помощью фрагмента кода Java (как показано ниже). Код работает нормально, и таблица из базы данных MySQL загружается.

Однако в журналах запуска сеанса Spark я не вижу, чтобы Thrift-сервер, отвечающий за предоставление интерфейса MS Power BI для подключения к Spark, даже запущен.

Итак, вот мой вопрос: какой код Java нужно было бы добавить, чтобы запустить сервер Thrift и разрешить доступ через MS Power BI? Заранее спасибо.

SparkSession spark = SparkSession
 .builder()
 .appName("SparkExample")
 .config("hive.server2.transport.mode", "http")
 .config("hive.server2.thrift.port", "52000")
 .config("hive.server2.http.endpoint", "cliservice")
 .config("hive.server2.thrift.bind.host", "0.0.0.0")
 .config("spark.sql.thriftServer.incrementalCollect", false)
 .config("spark.sql.hive.thriftServer.singleSession", true)
 .config("spark.master", "local")
 .config("spark.driver.memory", "512M")
 .getOrCreate();

Dataset<Row> companies = spark.read()
 .format("jdbc")
 .option("driver", "com.mysql.jdbc.Driver")
 .option("url", "jdbc:mysql://localhost:3306/<database>")
 .option("dbtable", <table>")
 .option("user", "<user>")
 .option("password", "<pw>")
 .load();

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...