ошибка: значение show не является членом Unit CaseFileDFTemp.show ()

Question

Я запустил код ниже в databricks scala записной книжке, но получаю ошибку.

БИБЛИОТЕКА ДОБАВЛЕНА: azure -cosmosdb-spark_2.4.0_2.11-1.3.4-uber КОД:

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

import spark.implicits._
import org.apache.spark.sql.functions._
import org.apache.spark.sql.Column
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType,LongType,FloatType,DoubleType, TimestampType}
import org.apache.spark.sql.cassandra._

//datastax Spark connector
import com.datastax.spark.connector._
import com.datastax.spark.connector.cql.CassandraConnector
import com.datastax.driver.core.{ConsistencyLevel, DataType}
import com.datastax.spark.connector.writer.WriteConf

//Azure Cosmos DB library for multiple retry
import com.microsoft.azure.cosmosdb.cassandra

import sqlContext.implicits._
spark.conf.set("x","x")
spark.conf.set("x","x")
spark.conf.set("x","x")
spark.conf.set("x","x")

val CaseFileDFTemp = sqlContext
  .read
  .format("org.apache.spark.sql.cassandra")
  .options(Map( "table" -> "case_files", "keyspace" -> "shared"))
.load().show()

CaseFileDFTemp.show()

ОШИБКА:

ошибка: значение show не является членом Unit CaseFileDFTemp.show ()

Answer 1

Можете ли вы попробовать создать контекст SQL и попробовать функцию show.

import sqlContext.implicits._
val sqlContext= new org.apache.spark.sql.SQLContext(sc)

Пожалуйста, дайте мне знать, если это поможет.

Answer 2

Если вы напишите

val CaseFileDFTemp = sqlContext
  .read
  .format("org.apache.spark.sql.cassandra")
  .options(Map( "table" -> "case_files", "keyspace" -> "shared"))
.load().show()

, тогда CaseFileDFTemp будет иметь тип Unit, потому что show() будет "потреблять" ваш фрейм данных. Так что удалите show(), тогда будет работать