Я хочу подтвердить свое понимание того, как сложные типы данных JSON работают в Hive. Я загружаю данные на платформу из исходной системы, которая хранит данные в MongoDB, поэтому я принимаю несколько документов JSON и храню их в хранилище на основе объектов. Наконец, я создаю внешнюю таблицу кустов, используя JSON SerDe, который указывает на каталог, содержащий файлы JSON.
Конечно, не каждый JSON-документ в каждой коллекции имеет одинаковую точную схему, однако для создания типа данных в Hive мне нужно знать полную, возможную схему ... правильную?
Мне кажется "очевидным", что ответ "да", поскольку JSON является вложенным, вам необходимо полностью описать схему, чтобы Hive мог понимать данные и что-то вроде "бокового обзора взрывается" " работать. Однако я немного новичок в Hive, поэтому я просто хочу убедиться, что нет какой-то функции, о которой я не знаю, которая каким-то образом автоматически обнаруживает изменения в вашей JSON-схеме и соответствующим образом обновляет тип данных.