Мы обновили Apache Spark с 2.3.0 до 2.4.1, после этого наш производственный код сломался, так как искра заменяет нулевые значения на "". Итак, есть ли какой-либо флаг конфигурации, который мы можем включить, чтобы сделать его обратно совместимым.
Нам нужно избежать этого преобразования. без изменения кода приложения