Как быстрее карта, чем строка JSON в типе данных куста?

Question

там.

Я рассматриваю тип данных в столбце куста, между строкой в ​​формате json и картой.

В моем здравом смысле нет аргументов в пользу того, что тип карты определенно быстреечем json string.Однако я понятия не имею, как куст обрабатывает данные в типе карты, поэтому я не могу доказать это.

Если я просто хочу поместить single depth nested data в столбец, карта - лучший выбор?и как быстрее чем json string?

Answer 1

Карта также сериализуется как строка и сохраняется в виде строк. Данные, передаваемые между маппером и редуктором, сериализуются в строки, а затем снова сериализуются. Вы не заметите разницу. Но в случае с типом карты SerDe будет десериализован как тип карты, и вы можете напрямую применять операторы карты в запросе, например select m[key] или size(m) или map_keys(m). Это выглядит намного проще, чем использование JSON_TUPLE(), вероятно, вместе с lateral view или GET_JSON_OBJECT(), в этом случае карта может работать немного быстрее, хотя JSON может хранить более сложные структуры, такие как вложенные массивы карт. Выберите карту, если она подходит для ваших данных и JSON для сложных структур.