доступ к свечам из RelationalGroupedDataset

Question

Обычный искровой фрейм данных позволяет получить доступ к sparksession через df.sparksession

class RelationalGroupedDataset protected[sql](
    df: DataFrame,
    groupingExprs: Seq[Expression],
    groupType: RelationalGroupedDataset.GroupType) {

Как я могу получить доступ к свече RelationalGroupedDataset?Кажется, это только личное сообщение.

Моя мотивация - получить доступ к последствиям искры, не требуя проходить спарк-сессию вокруг.

Answer 1

Если вы не зависите от наличия нескольких экземпляров сеанса в области, обычно достаточно использовать аргумент implicit

def f(gds: RelationalGroupedDataset)(implicit spark: SparkSession) = ???

или компоновщик

def f(gds: RelationalGroupedDataset) = {
  import SparkSession.builder.getOrCreate.implicits._
}

.Если нет, вы всегда можете использовать взломать так:

def f(gds: RelationalGroupedDataset) = {
  import gds.count.sparkSession.implicits._
}