Очень медленное соединение между Power Bi и Spark Thrift Server с использованием Spark Connector - PullRequest
0 голосов
/ 27 февраля 2019

Я использую разъем «spark» в настольном приложении Power Bi для подключения к серверу Spark Thrift, используя режим подключения «HTTP» с включенным «SSL» и опцией «Прямой запрос».

enter image description here

Соединение прошло успешно, однако при каждом обмене данными между приложением Power Bi и сервером Spark Thrift существует слишком большая задержка времени (например, аутентификация, загрузка метаданных, загрузка метаданных).конкретная таблица, ... и т. д.).Источником данных является «Hive Server2».

My Spark Thrift Config в «hive-default.xml» выглядит следующим образом:

<property>
    <name>hive.server2.authentication</name>
    <value>PAM</value>
</property>
<property>
    <name>hive.server2.authentication.pam.services</name>
    <value>login,sudo,sshd</value>
</property>
<property>
    <name>hive.server2.use.SSL</name>
    <value>true</value>
</property>
<property>
    <name>hive.server2.keystore.path</name>
    <value>************</value>
</property>
<property>
    <name>hive.server2.keystore.password</name>
    <value>************</value>
</property>
<property>
    <name>hive.server2.transport.mode</name>
    <value>http</value>
</property>
<property>
    <name>hive.server2.thrift.http.port</name>
    <value>10001</value>
</property>
<property>
     <name>hive.server2.thrift.http.path</name>
     <value>cliservice</value>
</property>

Во-первых, я подозревал, что «SSL«Шифрование замедляет связь, и я отключил его, но проблема все еще сохраняется.Поэтому я пришел к выводу, что это не имеет отношения к этому вопросу.

Есть какие-нибудь идеи относительно того, как повысить скорость связи?

Примечание. Я проверил подключение к серверу Spark Thrift с помощью инструмента командной строки «beeline» с включенным режимом «HTTP» и шифрованием «SSL», и все прошло очень быстро, поэтому я также исключил любую задержку в сетивопросы.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...