Управляемый Hive vs Внешние таблицы

Question

Какой из них лучше (с точки зрения производительности и работы в долгосрочной перспективе) в обслуживании загруженных, управляемых или внешних данных?

И, поддерживая, я имею в виду, что эти таблицы будут часто выполнять следующие операции ежедневно;

1. Выберите большую часть времени, используя разделы ... но для некоторых из них они не используются.
2. Удалите определенные записи, а не все разделы (например, обнаружена проблема внекоторые столбцы и хотите удалить и вставить его снова). - Я не уверен, поддерживается ли это для обычных таблиц, если только не используется транзакционный.
3. Наиболее важный , необходимость часто объединять файлы ... может быть два раза в день для объединения небольших файлов вполучить меньше картостроителей. Я знаю, что concate доступен на управляемых и вставка перезаписать на внешний .. какой из них дешевле?

Answer 1

Это зависит от вашего варианта использования. Внешняя таблица рекомендуется, когда они используются в нескольких приложениях, например. Наряду со свиной свиньей или другим приложением также используется для обработки данных в этом сценарии, внешние таблицы в основном рекомендуются. Они используются, когда вы в основном читаете данные.

В то время как в случае управляемых таблиц улей имеет полный контроль над данными. Хотя вы можете преобразовать любую внешнюю таблицу в управляемую и наоборот

alter table table_name SET TBLPROPERTIES('EXTERNAL'='TRUE');

Как и в вашем случае, вы часто вносите изменения в данные, поэтому лучше, чтобы куст имел полный контроль над данными. В этом сценарии рекомендуется использовать управляемые таблицы.

Кроме этой управляемой таблицы, она более безопасна, чем внешняя таблица, потому что доступ к внешней таблице может получить любой. Находясь в управляемой таблице, вы можете реализовать защиту на уровне улья, которая обеспечила лучший контроль, но в случае внешнего вы должны будете внедрить защиту на уровне HDFS.

Вы можете ссылаться на ссылки ниже, которые могут дать вам несколько советов по соображениям

Сравнение внешних и управляемых таблиц