Spark SQL: сбой таблицы усечений - PullRequest
Новая
       8

Spark SQL: сбой таблицы усечений

0 голосов
/ 13 марта 2019

Я пытаюсь выполнить некоторые команды на платформе Databricks, чтобы узнать больше о Spark SQL. Я создал искровой Dataframe из Pandas Dataframe и зарегистрировал его как временное представление для выполнения SQL-запросов.Я могу выполнить Select, но не Truncate. 

import pandas as pd
import numpy as np

#create Pandas DataFrame
pd_temp = pd.DataFrame(np.random.random(10))

#convert it into Spark DataFrame
spark_temp = spark.createDataFrame(pd_temp)

#register Spark DataFrame as table to run sql query
spark_temp.createOrReplaceTempView("temp")

#checking catalog list
print(spark.catalog.listTables())

**Output :**
(1) Spark Jobs
 spark_temp:pyspark.sql.dataframe.DataFrame = [0: double]
 [Table(name='temp', database=None, description=None, 
 tableType='TEMPORARY', isTemporary=True)]

Теперь я могу выполнять запросы в этом временном представлении: 

# Now, query temp table
query = 'select * from temp'
result = spark.sql(query)
result.show()

Это выполняется нормально, и я получаю вывод.Но, ниже выполнение становится неудачным .. 

query = 'truncate table temp'
result = spark.sql(query)
result.show()

Вывод: 

"Table or view 'temp' not found in database 'default';"

Но мы зарегистрировали эту температуру как представление.

...