В чем разница между spark.table («ТАБЛИЦА A») и spark.read. («ТАБЛИЦА A»)

Question

Вопрос в заголовке, я изучаю Spark SQL, но я не могу хорошо понять разницу между ними. Спасибо.

Answer 1

Нет разницы между функцией spark.table и spark.read.table.

Внутри spark.read.table снова вызывает spark.table функцию.

Проверьте код ниже.

spark.table Он доступен внутри package org.apache.spark.sql.SparkSession

SparkSession

package org.apache.spark.sql.SparkSession

def table(tableName: String): DataFrame = {
  table(sessionState.sqlParser.parseTableIdentifier(tableName))
}

spark.read.table функция доступна в package org.apache.spark.sql.DataFrameReader & Он снова вызывает spark.table функция.

DataFrameReader

package org.apache.spark.sql.DataFrameReader

def table(tableName: String): DataFrame = {
   assertNoSpecifiedSchema("table")
   sparkSession.table(tableName)
}