Spark поддерживает перекос подсказки?

Question

У меня проблемы с перекосом данных, и я хотел посмотреть, могут ли подсказки Spark помочь мне.Тем не менее, я не уверен, поддерживаются ли наклонные подсказки.Эти сайты: https://docs.databricks.com/spark/latest/spark-sql/skew-join.html#relation-columns-and-skew-values Эквивалент Spark Scala для подсказок по соединению SKEW оба подразумевают, что да, они поддерживаются.

Однако https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-hint-framework.html#spark-analyzer утверждает, что Spark SQL supports COALESCE and REPARTITION and BROADCAST hints. All remaining unresolved hints are silently removed from a query plan at analysis., что подразумевает, что мой намек на перекос также будет проигнорирован.

Какой из них правильный?Я использую Spark 2.2

Answer 1

TL; DR Начиная с Spark 2.4 Apache Spark не поддерживает перекос подсказок.

Вы путаете две вещи:

• Apache Spark - проект с открытым исходным кодом, поддерживаемый Apache Software Foundation
• Платформа Databricks Unified Analytics, представляющая собой патентованный продукт, построенный на основе Apache Spark.

Первый поддерживает набор функций, которых нет в Apache Spark, а иногда даже расходятся в модели исполнения.Вы не должны судить об особенностях Apache Spark, изучая документацию Databricks.Перекошенные объединения являются одной из этих функций (среди изменяемого хранилища, индексирования и других инструментов).

Обратите внимание, что существуют другие проприетарные платформы, построенные поверх Spark, которые могут предоставлять свои собственные расширения и изменять поведение Spark, поэтому вам не следуетне используй их документацию.