Повысить производительность перезаписи вставки в таблице управления кустами

Question

Я новичок в Hive и хотел узнать список свойств таблицы, чтобы повысить производительность перезаписи вставки в управляемой таблице Hive. Может ли кто-нибудь помочь с этим?

Answer 1

Некоторые предложения:

1. Отключение автоматического сбора статистики:

   set hive.stats.autogather=false;

2. Удаление папок разделов или заранее запишите папку, если это возможно, или используйте опцию PURGE: { ссылка }

3. Если вы используете S3 и для таблицы указано OR C, отключите block- padding:

   ALTER TABLE your_table SET TBLPROPERTIES ("orc.block.padding"="false", "orc.block.padding.tolerance"="1.0");

4. Использовать векторизацию ConfigurationProperties-Vectorization и Tez:

   set hive.execution.engine=tez;

5. Оптимизировать запрос.