Как сохранить пробелы в данных (4 пробела) для столбца при записи в файл csv в pyspark

Question

У меня есть входной CSV-файл с одной записью. Когда я читаю файл в pyspark, фрейм данных имеет три столбца a, b, c соответственно. a и c имеют данные, а b имеет данные в 4 пробела. При записи файла в csv данные из 4 пробелов теряются и они записываются в файл в виде пустой строки.

Входной файл:

aaaa,    , bbbb

Выходной файл:

aaaa,"", bbbb

Как сохранить данные 4 пробела как есть.?

Answer 1

При написании необходимо установить параметры:

df.write
  .option("ignoreLeadingWhiteSpace", "false")
  .option("ignoreTrailingWhiteSpace", "false")
  .csv(path)