Друидский паркет плохая производительность при приеме внутрь

Question

Есть ли причины, по которым прием Друида должен быть медленным при приеме данных с паркета?Мы наблюдали, что скорость приема по крайней мере в 2 раза лучше, когда данные JSON были загружены.В общем, какой из них лучше?JSON или Паркет в контексте периодического приема друида Hadoop.

Answer 1

Паркет оптимизирован для парадигмы WORM.Это медленно, но невероятно быстро, особенно когда вы получаете доступ только к подмножеству общих столбцов.Поскольку формат данных паркета сжимается и кодируется, поэтому запись происходит медленнее по сравнению с форматом данных JSON.

Здесь вы можете пойти на компромисс с производительностью приема данных в формате паркета, но для анализа данных это невероятно быстро из-за его столбчатых данных.формат.