Hive / Impala колонка-комментарии обрезана после нескольких символов

Question

Когда я смотрю на комментарии к столбцам в нашем озере данных (Hadoop, комментарии, сделанные во время создания таблицы паркета с помощью Hive или Impala), они обрезаются после ~ 200 символов.

Возможно, это будетглобальный набор символов в нашей системе hadoop или какое-то ограничение Hive? Если нет, есть ли способ установить максимальную длину строки для комментариев при создании таблицы? К сожалению, у меня нет доступа администратора к самой системе и, следовательно, ограниченные возможности проникновения в суть.

Answer 1

Комментарии столбца хранятся в таблице Hive Metastore COLUMNS_V2, в столбце с именем COMMENT. В настоящее время размер этого столбца ограничен 256 символами (см., Например, Определение схемы метасчета MySQL для Hive версии 3.0.0). В следующей версии 4.0 (?) Он, похоже, был расширен до varchar (4000), но связанный Hive JIRA-4921 по-прежнему указан как неразрешенный и не упоминает целевой выпуск #.