Загрузка файла JSON со схемой в искре загружает нулевые данные из-за чувствительности к регистру

Question

Я пытаюсь загрузить файл JSON со Схемой, но столбцы схемы - все строчные, а ключи в файле JSON - нет, поэтому загруженные данные равны нулю. Я могу загрузить файл с выведенной схемой, но это не вариант. Я также попытался установить spark.sql.caseSensitive=true, но это не сработало, а добавил их как новые столбцы. Есть ли какое-либо свойство, которое можно настроить, чтобы оно работало, или мне нужно предварительно обработать все эти JSON файлы перед загрузкой в ​​spark. JSON может иметь пропущенные значения ключа. например,

{"id": "0001","type": "donut"} {"Id": "0002","Type": "Cakedonut"} {"ID": "0002"}

Answer 1

AFAIK, не существует неявного параметра, который может объединить вашу схему, рассматривая ее как особенность Spark, которую вы можете использовать ниже для достижения своей цели.