Допустим, у меня есть объект dataframe, созданный в scala, и мне нужно было бы получить доступ к данным в объекте с помощью pyspark. Есть ли способ сделать это, не создавая временную таблицу в блоках данных, прочитав объект, созданный в scala например, df = createDataFrame (scalaDF)
Создать df с помощью scala:
%scala
val values = List(1,2,3,4,5)
val df = values.toDF()
df.createOrReplaceTempView("TempTable")
Чтение df с pyspark
df=spark.read.table('TempTable')
display(df)