У меня есть шесть типов файлов JSON (каждый для различных статусов бронирования), которые необходимо загрузить в одну таблицу базы данных с помощью PySpark.Файлы имеют много общих полей среди них.Однако, в зависимости от состояния, некоторые JSON будут иметь некоторые дополнительные поля, а некоторые - нет.
Поскольку все они, наконец, должны быть загружены в одну таблицу, мне нужно прочитать их, используя определенную схему.Таким образом, если у JSON нет одного из обязательных полей, при извлечении этого поля он может вернуть нулевое значение вместо того, чтобы выдать ошибку, что поле не существует.
Проблема в том, что клиент не можетпредоставить основную структуру, с помощью которой я могу прочитать все шесть файлов.Есть ли простой способ сравнить шесть типов JSON и создать из них основную структуру JSON?