использование Dataframe из% pyspark в% python в zeppelin

Question

У меня есть датафрейм pandas в% pyspark, я хочу использовать его в ячейке% python в zeppelin.Я не могу это сделать.Есть идеи, как это можно сделать?

Answer 1

вы можете использовать его напрямую, в конце концов, это все python,% pyspark - это просто API-интерфейс python для использования spark с языком python, также вы можете переключаться между pandas DataFrames и pyspark DataFrame:

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('app_name').getOrCreate()
your_pyspark_df = spark.createDataFrame(your_pd_df)

также вы можете вернуться к pandas DataFrame с помощью метода .toPandas ().