Комиссионный сервер для Spark не запускается - PullRequest
Новая
       61

Комиссионный сервер для Spark не запускается

0 голосов
/ 28 октября 2018

В настоящее время я пытаюсь установить Apache Spark на кластер Hadoop (на одной машине).

Я установил Hadoop в псевдораспределенном режиме и Apache Hive с удаленным хранилищем метастазов.

Проблема заключается в сбое экономичного сервера со следующей ошибкой. 

2018-10-28 14:33:52 WARN  HiveMetaStore:622 - Retrying creating default database after error: Error creating transactional connection factory
javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
        at org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:587)

Я понятия не имею, почему я получаю эту ошибку.

Вопрос:

Какую конфигурацию я должен проверить?Какая будет правильная конфигурация?

Среда:

  • Hadoop 2.9.1 в псевдораспределенном режиме
  • Derby 10.14.
  • Hive 3.1.0 с удаленным мета-хранилищем
  • Spark 2.3.2
  • OpenSUSE 42.2 (Docker)

Примечания:

  • Hiveserver2 работает.После запуска Hiverserver2 я могу создать соединение с Hiveserver2 на beeline.
  • В папке $ SPARK_HOME / conf есть копия hive-site.xml из Hive.
  • При запуске экономичного сервера япока не запускайте Hiveserver2.
  • Я запускаю комиссионный сервер без каких-либо опций: start-thriftserver.sh
  • До сих пор я работаю как root.
...