Spark SQL - org. apache .spark. sql .AnalysisException

Question

Ошибка, описанная ниже, возникает, когда я запускаю задание Spark на Databricks во второй раз (первый реже). Запрос sql просто выполняет create table as select from зарегистрированное временное представление из DataFrame.

Первой идеей было spark.catalog.clearCache() в конце задания (не помогло). Кроме того, я нашел на форуме databricks несколько сообщений об использовании object ... extends App (Scala) вместо основного метода (больше не помогло)

PS current_date() - встроенная функция, и ее следует предоставить автоматически (ожидается)

Spark 2.4.4, Scala 2.11, время выполнения Databricks 6.2

org.apache.spark.sql.AnalysisException: Undefined function: 'current_date'. This function is neither a registered temporary function nor a permanent function registered in the database 'default'.; line 21 pos 4
    at org.apache.spark.sql.catalyst.analysis.Analyzer$LookupFunctions$$anonfun$apply$15$$anonfun$applyOrElse$50.apply(Analyzer.scala:1318)
    at org.apache.spark.sql.catalyst.analysis.Analyzer$LookupFunctions$$anonfun$apply$15$$anonfun$applyOrElse$50.apply(Analyzer.scala:1318)
    at org.apache.spark.sql.catalyst.analysis.package$.withPosition(package.scala:53)
    at org.apache.spark.sql.catalyst.analysis.Analyzer$LookupFunctions$$anonfun$apply$15.applyOrElse(Analyzer.scala:1317)
    at org.apache.spark.sql.catalyst.analysis.Analyzer$LookupFunctions$$anonfun$apply$15.applyOrElse(Analyzer.scala:1309)
    at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$2.apply(TreeNode.scala:279)
    at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$2.apply(TreeNode.scala:279)
    at org.apache.spark.sql.catalyst.trees.CurrentOrigin$.withOrigin(TreeNode.scala:76)```

Answer 1

current_date () является встроенной функцией, и она должна предоставляться автоматически (ожидается)

Это ожидание неверно . Вы должны импортировать функции

для scala

import org.apache.spark.sql.functions._

, где доступна функция current_date.

from pyspark.sql import functions as F

для pyspark