Совместимость Apache Spark 2.3.1 с Hadoop 3.0 в HDP 3.0

Question

Я планирую перейти с платформы данных Hortonworks [HDP] (версия 2.6.x) на HDP 3.0.Но, похоже, есть некоторые серьезные ошибки в Apache Spark 2.3.x и его интеграции с Hadoop 3.0, которые до сих пор не устранены в проблемах Apache Spark JIRA.Хотя команда разработчиков Spark работает над их решением.Есть ли у этих проблем обходные пути / решения от команды Hortonworks, или они все еще существуют в HDP 3.0?

Некоторые нерешенные проблемы, касающиеся моего варианта использования:

1. Spark DataFrames не работает сHadoop 3.0 https://issues.apache.org/jira/browse/SPARK-18673
2. Сбой при обновлении билета Kerberos в Hadoop 3 https://issues.apache.org/jira/browse/SPARK-24493
3. Запуск искры на Hadoop 3 https://issues.apache.org/jira/browse/SPARK-23534

Answer 1

Я проверил интеграцию с HDP Spark-2.3.1 и Hadoop - 3.0.1.Он работает отлично, и вышеупомянутые проблемы были решены в HDP-версии Spark, но не были представлены в примечаниях к выпуску HDP-3.Проверьте сообщество ответ