Вставить в TempView с помощью Spark.sql

Question

Как мне сделать простую вставку в Spark SQL?spark 2.1

Я могу заставить его работать с простым SQL-кодом внутри spark, с Spark.sql, но я не могу просто вставить.

  from pyspark.sql import SparkSession
  spark = SparkSession.builder.appName('Basics').getOrCreate()
  df=spark.read.json(/path/.'/people.json')

  df.sow()

  +-----+---------+   
  |age  | name    |
  +-----+---------+
  |null | Michael |
  | 30  | And     |
  +-----+---------+    

 df.CreateOrReplaceTempView('people') # create temp table

 spark.sql("SELECT * FROM people where age == 30")

  +-----+---------+   
  |age  | name    |
  +-----+---------+
  | 30  | Andy    |
  +-----+---------+ 

Так что яЯ понимаю SQL, но я не знаю, кому сделать вставку.

Я перепробовал все возможные способы.

Answer 1

Вы не вставляете в фреймы данных, они неизменны и ленивы.

Вам необходимо создать новый фрейм данных, который будет объединением исходного фрейма данных и новых данных, которые вы добавляете в него.