NullPointerException с фреймом данных pyspark

Question

У меня есть фрейм данных pyspark, который .show () указывает, что все нормально, но .toPandas (), .count (), .write.parquet ("abc / abc_pred.parquet") приводят к NullPointerException.Я ничего не могу сделать с этим фреймом данных.Любые идеи, как я могу экспортировать этот фрейм данных?

Answer 1

Для вашего ref для создания фрейма данных

import findspark
findspark.init()

from pyspark.sql import SparkSession
from pyspark.sql.functions import *
from pyspark.sql.types import *

spark = SparkSession.builder.appName('test').getOrCreate()
data = [(1, "siva", 100), (2, "siva2", 200),(3, "siva3", 300),(4, "siva4", 400),(5, "siva5", 500)]
schema = ['id', 'name', 'sallary']

df = spark.createDataFrame(data, schema=schema)
df.show()
+---+-----+-------+
| id| name|sallary|
+---+-----+-------+
|  1| siva|    100|
|  2|siva2|    200|
|  3|siva3|    300|
|  4|siva4|    400|
|  5|siva5|    500|
+---+-----+-------+


df.agg({"sallary": "max"}).withColumnRenamed('max(sallary)', 'max').show()
+---+
|max|
+---+
|500|
+---+