когда я пишу пустой фрейм данных с параметрами ("header", "true"), но он не записывает заголовок в файл CSV, как решить?
Вы не можете сделать это с Spark 2.x, и нет обходного пути, поэтому вам придется создать файл вручную. Это будет работать начиная с 3.0, хотя. Вот билет: https://issues.apache.org/jira/browse/SPARK-26208