Размер группирующих наборов не может быть больше 64: Hive

Question

• 1000 '. Пишу ниже запрос.

    SELECT (all 70 columns),COUNT(*) AS CountOf FROM tablename GROUP BY (all 70 columns) 
    HAVING  COUNT(*)>1;

, но отображается

    Error: Error while compiling statement: FAILED: SemanticException [Error 10411]: 
    Grouping sets size cannot be 
    greater than 64 (state=42000,code=10411)

есть ли способ найти точное количество повторяющихся строк из таблицы улья?

Answer 1

Это ошибка HIVE-21135 в версии Hive 3.1.0, она исправлена ​​в Hive 4.0.0, см. HIVE-21018 , без поддержки.

Попробуйте объединить столбцы с помощью разделителя в подзапросе перед агрегацией в качестве временного решения, я не уверен, поможет это или нет.

вот так, используя оператор concat (), concat_ws или ||:

select concat_ws ('~', col1, col2, col3, col4)
...
group by concat_ws ('~', col1, col2, col3, col4)

или

col1||'~'||col2||'~'||...||colN