Как экспортировать фрейм данных как Excel на Databricks

Question

Я хочу написать несколько фреймов данных, либо pandas, либо коал, либо pyspark на одном листе Excel, и сделать что-то необычное, как это делает xlwx (изменение размера или цвета ячеек и т. Д. c), и сохранить в S3 ведро. Я пробовал pandas .to_csv (s3 ..... test.xlsx), но это не то, что я хочу.

Answer 1

Чтобы объединить кадры данных, попробуйте что-то вроде этого.

cond = [df.name == df2.name, df.age == df2.age]
df.join(df2, cond, 'inner')

Или попробуйте преобразовать два объекта в pandas кадры данных, а затем выполните объединение.

Шаг # 1:

df1= df1.select("*").toPandas()
df2= df2.select("*").toPandas()

Шаг № 2:

result = pd.concat([df1, df2], axis=1)