Я пытаюсь подключить MS Power BI к локальному сеансу Spark (все это происходит на компьютере с Windows). Запуск сеанса Spark выполняется с помощью фрагмента кода Java (как показано ниже). Код работает нормально, и таблица из базы данных MySQL загружается.
Однако в журналах запуска сеанса Spark я не вижу, чтобы Thrift-сервер, отвечающий за предоставление интерфейса MS Power BI для подключения к Spark, даже запущен.
Итак, вот мой вопрос: какой код Java нужно было бы добавить, чтобы запустить сервер Thrift и разрешить доступ через MS Power BI? Заранее спасибо.
SparkSession spark = SparkSession
.builder()
.appName("SparkExample")
.config("hive.server2.transport.mode", "http")
.config("hive.server2.thrift.port", "52000")
.config("hive.server2.http.endpoint", "cliservice")
.config("hive.server2.thrift.bind.host", "0.0.0.0")
.config("spark.sql.thriftServer.incrementalCollect", false)
.config("spark.sql.hive.thriftServer.singleSession", true)
.config("spark.master", "local")
.config("spark.driver.memory", "512M")
.getOrCreate();
Dataset<Row> companies = spark.read()
.format("jdbc")
.option("driver", "com.mysql.jdbc.Driver")
.option("url", "jdbc:mysql://localhost:3306/<database>")
.option("dbtable", <table>")
.option("user", "<user>")
.option("password", "<pw>")
.load();