Dataproc перезапускает службы кустов после определенных конфигураций - PullRequest
0 голосов
/ 18 октября 2018

Работая с Dataproc, я настраиваю другую конфигурацию для оптимизации запроса улья:

<property>
    <name>hive.vectorized.execution.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.cbo.enable</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.compute.query.using.stats</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.stats.fetch.column.stats</name>
    <value>true</value>
  </property>
  <property>
    <name>hive.stats.fetch.partition.stats</name>
    <value>true</value>
   </property>

После применения этих изменений и перезапуска мета-хранилища улья и сервера улья, задания начинают сбой из-за проблем с соединением на разныхузлы:

 ERROR, exception: java.lang.RuntimeException: org.apache.thrift.transport.TTransportException, result: %text org.apache.thrift.transport.TTransportException

Но, похоже, это происходит из-за подключения к MySQL: hive:

Oct 18 06:55:23 xxxx-spark-m /etc/mysql/debian-start[27552]: Upgrading MySQL tables if necessary.
Oct 18 06:55:23 xxxx-spark-m /etc/mysql/debian-start[27555]: /usr/bin/mysql_upgrade: the '--basedir' option is always ignored
Oct 18 06:55:23 xxxx-spark-m /etc/mysql/debian-start[27555]: Looking for 'mysql' as: /usr/bin/mysql
Oct 18 06:55:23 xxxx-spark-m /etc/mysql/debian-start[27555]: Looking for 'mysqlcheck' as: /usr/bin/mysqlcheck
Oct 18 06:55:23 xxxx-spark-m /etc/mysql/debian-start[27555]: This installation of MySQL is already upgraded to 10.2.18-MariaDB, use --force if you still need to run mysql_upgrade
Oct 18 06:55:23 xxx-spark-m /etc/mysql/debian-start[27567]: Checking for insecure root accounts.
Oct 18 06:55:23 xxxx-spark-m /etc/mysql/debian-start[27571]: Triggering myisam-recover for all MyISAM tables and aria-recover for all Aria tables
Oct 18 06:55:24 xxxx-spark-m mysqld[27488]: 2018-10-18  6:55:24 139690715899648 [Note] InnoDB: Buffer pool(s) load completed at 181018  6:55:24
Oct 18 07:05:46 xxxx-spark-m mysqld[27488]: 2018-10-18  7:05:46 139691201689344 [Warning] Aborted connection 42 to db: 'metastore' user: 'hive' host: 'host-xxx' (Got timeout reading communication packets)

Мой первый вопрос, почему он показывает, что:

This installation of MySQL is already upgraded to 10.2.18-MariaDB, use --force if you still need to run mysql_upgrade

ТакжеЯ хочу получить доступ к mysql db, чтобы создать привилегии для пользователя улья, но я не могу понять, как получить доступ к mysql db в dataproc.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...