«FAILED: Ошибка выполнения, код возврата 3» после установки двигателя Hive с mr на Spark

Question

Я пытаюсь использовать Spark engine в своем запросе Hive.
Это старый запрос, и я не хочу преобразовывать весь код в искровое задание.

Но когда я запускаю запрос, он выдает следующую ошибку:

Статус: Сбой
СБОЙ: Ошибка выполнения, код возврата 3 из org.apache.hadoop.hive.ql.exec.spark.SparkTask

Единственное, что я изменил, это механизм исполнения:

set hive.execution.engine = spark;

Вышеуказанное изменение работает для других аналогичных запросов. Так что я не думаю, что это проблема конфигурации ...
Или я не в курсе, что это так?

Кто-нибудь сталкивался с этой проблемой раньше?

Answer 1

использовать подробный режим Билайна для запуска запроса. проверьте журналы исключений запросов, журналы Hiveserver, журналы искры и рабочие журналы искры Webui (это часто имеет точную трассировку стека). Попробуйте запустить искру в локальном режиме.

Какие версии hive, spark, hadoop вы используете?

Answer 2

Проверьте журналы задания, чтобы увидеть истинную ошибку. Код возврата 1, 2 и 3 - это общие ошибки в MR и Spark.