SnowflakeStrategy: завершение не удалось: ошибка компиляции SQL

Question

При работе с подключением spark и снежинки я вижу следующую строку в моем журнале:

SnowflakeStrategy: Ошибка при нажатии: ошибка компиляции SQL

Я посмотрел на сгенерированный оператор SQL, и он показывает группупо пункту в нем. Принимая во внимание, что мой фактический оператор SQL в коде не показывает какой-либо групповой оператор. Кроме того, мой код не был с ошибкой в ​​этой строке.

Почему это сообщение и действительно ли какое-то влияние на вывод? Я не вижу, что мой вывод влияет!

Answer 1

Соединитель Spark пытается взять любой написанный вами Spark SQL и преобразовать его в SQL, чтобы логику можно было перенести в Snowflake и выполнить ближе к данным. Но у него есть резервный механизм: если он не может выполнить нажатие из-за какой-либо неподдерживаемой функциональности или если Snowflake выдает ошибку в исходном запросе, он откатится к более простому и, возможно, более дорогому плану.

Ошибка, которую вы видите, является частью этого отступления: она, вероятно, получила ошибку от Снежинки и вернулась к более простому плану. Ваш код не дает сбоя, потому что на запрос выдается ответ, но только с помощью pushdown, которую изначально пытался использовать соединитель.

С помощью Spark SQL, истории запросов в Snowflake и информации о версии вашего программного обеспечения мы можемнаверное расскажу больше.