Как записать вывод фрейма данных искры в файл журнала в виде структурированного вывода в python

Question

Я создал фрейм данных spark в pyspark и хочу записать отфильтрованные выходные данные для записи в файл журнала или текстовый файл. Давайте рассмотрим следующее как df

df=spark.sql(select * from tbl1)

Я хочу вывод команды ниже в текстовом файле или файле журнала

df.select("col1").show(5)

Я пробовал ниже, но это не работает

with open("output.txt","a") as f:
     f.write(tabulate(df.select("col1").show(5),tablefmt="pretty"))

Ожидаемый вывод в текстовом файле, как на рисунке.

Можно ли записать вывод в текстовый файл с табличной структурой?

Answer 1

Вы можете использовать df.select("col1").limit(5).collect(). Это даст вам массив (или объект списка строк в Python), а затем вы сможете записать его в нужном формате. Я не использовал табуляцию, поэтому я не знаю, как ее использовать. Однако следует помнить, что при производстве такие опции никогда не используются.