Работая с Dataproc, я настраиваю другую конфигурацию для оптимизации запроса улья:
<property>
<name>hive.vectorized.execution.enabled</name>
<value>true</value>
</property>
<property>
<name>hive.cbo.enable</name>
<value>true</value>
</property>
<property>
<name>hive.compute.query.using.stats</name>
<value>true</value>
</property>
<property>
<name>hive.stats.fetch.column.stats</name>
<value>true</value>
</property>
<property>
<name>hive.stats.fetch.partition.stats</name>
<value>true</value>
</property>
После применения этих изменений и перезапуска мета-хранилища улья и сервера улья, задания начинают сбой из-за проблем с соединением на разныхузлы:
ERROR, exception: java.lang.RuntimeException: org.apache.thrift.transport.TTransportException, result: %text org.apache.thrift.transport.TTransportException
Но, похоже, это происходит из-за подключения к MySQL: hive:
Oct 18 06:55:23 xxxx-spark-m /etc/mysql/debian-start[27552]: Upgrading MySQL tables if necessary.
Oct 18 06:55:23 xxxx-spark-m /etc/mysql/debian-start[27555]: /usr/bin/mysql_upgrade: the '--basedir' option is always ignored
Oct 18 06:55:23 xxxx-spark-m /etc/mysql/debian-start[27555]: Looking for 'mysql' as: /usr/bin/mysql
Oct 18 06:55:23 xxxx-spark-m /etc/mysql/debian-start[27555]: Looking for 'mysqlcheck' as: /usr/bin/mysqlcheck
Oct 18 06:55:23 xxxx-spark-m /etc/mysql/debian-start[27555]: This installation of MySQL is already upgraded to 10.2.18-MariaDB, use --force if you still need to run mysql_upgrade
Oct 18 06:55:23 xxx-spark-m /etc/mysql/debian-start[27567]: Checking for insecure root accounts.
Oct 18 06:55:23 xxxx-spark-m /etc/mysql/debian-start[27571]: Triggering myisam-recover for all MyISAM tables and aria-recover for all Aria tables
Oct 18 06:55:24 xxxx-spark-m mysqld[27488]: 2018-10-18 6:55:24 139690715899648 [Note] InnoDB: Buffer pool(s) load completed at 181018 6:55:24
Oct 18 07:05:46 xxxx-spark-m mysqld[27488]: 2018-10-18 7:05:46 139691201689344 [Warning] Aborted connection 42 to db: 'metastore' user: 'hive' host: 'host-xxx' (Got timeout reading communication packets)
Мой первый вопрос, почему он показывает, что:
This installation of MySQL is already upgraded to 10.2.18-MariaDB, use --force if you still need to run mysql_upgrade
ТакжеЯ хочу получить доступ к mysql db, чтобы создать привилегии для пользователя улья, но я не могу понять, как получить доступ к mysql db в dataproc.