HQL сбой sqlexception

Question

Когда я запускаю

Select * from table_a

, используя мой Hive Ide, я получаю:

SQLException pa текущие входные файлы sql превышают максимальный предел.Пожалуйста, оптимизируйте.Maxfile-- → 100000

Я ничего не смог найти, когда гуглю эту ошибку.

Answer 1

Похоже, что ваша таблица разбила максимальное количество разрешенных файлов HDFS.

Зайдите в улей (или билайн) и выполните следующую команду, по умолчанию это значение 100000

set hive.exec.max.created.files;

Чтобы решить эту проблему, вам нужно пойти и проверить ваши запросы на вставку и понять, почему он создает так много файлов.

Однако, пока вы объединяете некоторые разделы (лучше сделать это для всех), используя следующую команду

alter table dbname.tblName partition (col_name=value) concatenate;