Spark dataFrame не имеет функции createGlobalTempView ()? - PullRequest
0 голосов
/ 24 октября 2018

Я использую spark2.3 и scala 2.11.

  1. Я создал dataFrame и могу использовать функцию createOrReplaceTempView ().
  2. Но кажется, что функция createGlobalTempView () отсутствует, intellij говорит, что не может найти такой метод, и intellisense не может дать мне список.

Итак, я хотел бы знать, не устарел ли этот метод? (Проблема совместимости?)

Спасибо!

1 Ответ

0 голосов
/ 24 октября 2018

createGlobalTempView() Fuction также используется ApiDoucment также есть.вот sourceCode почти строка 3115.
Дайте вам демонстрацию для обработки ваших данных.

val spark = SparkSession.
  builder.
  appName("Simple Application").
  master("local").
  getOrCreate()

val df = spark.read.json("my.json")
// Register the DataFrame as a SQL temporary view

df.createOrReplaceTempView("people1")//:people

val sqlDF = spark.sql("SELECT * FROM people1 ")

println("createOrReplaceTempView")

sqlDF.show()

// Register the DataFrame as a global temporary view
df.createGlobalTempView("people2")

// Global temporary view is tied to a system preserved database `global_temp`

val sqlDF2 = spark.sql("SELECT * FROM global_temp.people2")

sqlDF2.show()
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...