Записывает ли Spark DataFrame для CosmosDB пустые строки?

Question

Я создаю большой DataFrame после обработки данных и записываю его обратно в коллекцию CosmosDB, используя коннекторы Spark SQL для CosmosDB, используя df.write.mode(SaveMode.Overwrite).cosmosDB(writeConfig)

Класс, который записывает DataFrameWriter изspark_sql_2.11.Проверяет ли DataFrameWriter, состоит ли строка, которую он собирается написать, только из пустых строк?Если этого не произойдет, то я должен убедиться, что строки не пусты, прежде чем передать его DataFrameWriter.

Answer 1

Если вы хотите убедиться, просто напишите функцию карты и отфильтруйте все пустые строки, например, как это .

Кроме того, в вашем фрейме данных есть столбец id или вы позволяете CosmosDB генерировать его для вас? Если первый случай таков, вы все равно можете столкнуться с ошибкой, если id - пустая строка.