Можно ли присоединиться к TempView в искре, поскольку он выбрасывает ошибку не может устранить ошибку символа - PullRequest
Новая
       14

Можно ли присоединиться к TempView в искре, поскольку он выбрасывает ошибку не может устранить ошибку символа

1 голос
/ 01 августа 2020

Я пытаюсь присоединиться к 3 представлениям в Apache Spark с scala

df1.createOrReplaceTempView("customer")
finaldf.createOrReplaceTempView("product")
areadf.createOrReplaceTempView("sales")

Библиотеки: 

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}
import org.apache.spark.sql.functions._

Присоединение к представлению ниже 

val result = customer.join(product, customer("keycol")===product("keycol"))

, но не уверен, почему он не распознает зарегистрированное представление Любой промах .... Пожалуйста, предложите

Нужно ли мне импортировать какую-либо конкретную c библиотеку?

1 Ответ

0 голосов
/ 01 августа 2020

Нет необходимости импортировать какую-либо библиотеку. Как только мы create temp view, нам нужно использовать SQL api для присоединения синтаксиса к временным представлениям.

Example:

spark.sql("select * from customer c join product p on c.keycol=p.keycol")

//join using dataframe api
df1.join(finaldf, df1("keycol")===finaldf("keycol"))
...