Где col и методы окна определены в Spark?

Question

Я нашел эту конструкцию.

purchaseByCustomerPerHour = streamingDataFrame\
.selectExpr(
"CustomerId",
"(UnitPrice * Quantity) as total_cost",
"InvoiceDate")\
.groupBy(
col("CustomerId"), window(col("InvoiceDate"), "1 day"))\
.sum("total_cost")

Где определены методы col и window?Я не смог найти их в документации API Spark.

Answer 1

нашел это.Его на https://spark.apache.org/docs/2.2.0/api/scala/index.html#org.apache.spark.sql.functions$

Я должен заметить ключевое слово import, используемое в том же коде