Если вы хотите Spark2, то в данный момент он не поддерживается. Основываясь на информации об упаковке CDH6.0.0, он использует Hive 2.1.1, который совместим только с Spark 1.6. Если вы хорошо используете Spark 1.6, то это так. См. Запуск Apache Hive на Spark в CDH для получения дополнительной информации.
Совместимость версий можно найти по адресу Hive on Spark: Getting Started .