Spark Write CSV - проблема формата отметки времени

Question

У меня есть формат отметки времени в таблицах кустов до 6 мсек, при записи в формате spark CSV - это не позволяет мне записывать более 3 мсек.

1) исходный формат: "гггг-мм-дд чч: ми: ss.SSSSSS"
2) формат csv: "гггг-мм-дд чч: ми: сс.ссс"

• даже после указания формата до 6 миллисекунд SSSSSS в CSV записи не работает.

  DF.write.
  option("sep","~").
  option("quoteAll", "true").
  option("timestampFormat","yyyy-MM-dd HH:mm:ss.SSSSSS")
  

  • не работает?

Кто-нибудь знает какое-нибудь решение?

Answer 1

Опция "timestampFormat" не указана в документации: https://github.com/databricks/spark-csv. Возможно, dateFormat можно использовать с тем же значением.

В качестве временного решения, метка времени может быть преобразована в строку вручную перед сохранением.