Как сделать DataFrame видимым в ячейке Python в записной книжке Databricks?

Question

Я создал Spark DataFrame в Scala, используя Databricks.После некоторой предварительной обработки я придумал меньшее подмножество данных, которое помещается в память.Поэтому я хочу преобразовать его в Pandas, а затем сохранить как файл CSV.

Проблема в том, что DataFrame df, над которым я работал в записной книжке Databricks в ячейках Scala, не виден в ячейке Python.

% python

df.toPandas().to_csv("dbfs:/FileStore/tables/test.csv", header=True, index=False)

Как мне сделать df видимым в ячейке Python?

Answer 1

Сделай это display(df). Также обычно отображаются некоторые вложенные структуры.

Или я бы сделал что-то подобное df.createOrReplaceTempView("dfViewName") В соседней камере %sql

Select * from dfViewName