AWS EMR Hive: еще не поддерживается место для UDAF 'COUNT' - PullRequest
Новая
       18

AWS EMR Hive: еще не поддерживается место для UDAF 'COUNT'

0 голосов
/ 06 февраля 2019

У меня довольно сложный запрос, который я пытаюсь преобразовать для использования с Hive.

В частности, я выполняю его как "шаг" Hive в кластере AWS EMR.

Я попытался немного очистить запрос для поста и просто оставить суть дела.

Полное сообщение об ошибке: 

FAILED: SemanticException [Error 10128]: Line XX:XX Not yet supported place for UDAF 'COUNT'

Номер строки указывает на COUNT внизу оператора select: 


    INSERT INTO db.new_table (
        new_column1,
        new_column2,
        new_column3,
        ... ,
        new_column20
    ) 
    SELECT MD5(COALESCE(TBL1.col1," ")||"_"||COALESCE(new_column5," ")||"_"||...) AS 
        new_col1,
        TBL1.col2,
        TBL1.col3,
        TBL1.col3 AS new_column3,
        TBL1.col4,
        CASE
            WHEN TBL1.col5 = …
            ELSE “some value”
        END AS new_column5,
        TBL1.col6,
        TBL1.col7,
        TBL1.col8,
        CASE
            WHEN TBL1.col9 = …
            ELSE "some value"
        END AS new_column9,
        CASE 
            WHEN TBL1.col10 = …
            ELSE "value"
        END AS new_column10,
        TBL1.col11,
        "value" AS new_column12,
        TBL2.col1,
        TBL2.col2,
        from_unixtime(…) AS new_column13,
        CAST(…) AS new_column14,
        CAST(…) AS new_column15,
        CAST(…) AS new_column16,
        COUNT(DISTINCT TBL1.col17) AS new_column17
    FROM db.table1 TBL1
    LEFT JOIN 
        db.table2 TBL2
            ON TBL1.col311 = TBL2.col311
    WHERE TBL1.col14 BETWEEN "low" AND "high"
        AND TBL1.col44 = "Y"
        AND TBL1.col55 = "N"
    GROUP BY 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20;

Если я пропустил слишком много, пожалуйста, дайте мне знать.

Спасибо за вашу помощь!

Обновления

Оказывается, я действительно пропустил слишком много информации.Извините за тех, кто уже пытался помочь ...

Я сделал обновления выше.

Удаление 20-й группы по столбцу, например: 

GROUP BY 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19;

Произведено:Expression not in GROUP BY key '' ''

ПОСЛЕДНИЕ

Удаление 20-й группы по столбцу и добавление первой, например: 

GROUP BY 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19;

Произведено: 

Line XX:XX Invalid table alias or column reference 'new_column5':(possible column
 names are: TBL1.col1, TBL1.col2, (looks like all columns of TBL1), 
TBL2.col1, TBL2.col2, TBL2.col311)

Строка # ссылается на строку с оператором SELECT.Только три столбца из TBL2 перечислены в выводе ошибки.

Кажется, ошибка указывает на COALESCE(new_column5).Обратите внимание, что у меня есть оператор CASE в TBL 1 select, который я запускаю с AS new_column5.

1 Ответ

0 голосов
/ 06 февраля 2019

Вы обращаетесь к имени вычисляемого столбца new_column5 на том же уровне подзапроса, где оно вычисляется.Это невозможно в Улей.Замените его самим расчетом или используйте подзапрос верхнего уровня.

Это: 

 MD5(COALESCE(TBL1.col1," ")||"_"||COALESCE(CASE WHEN TBL1.col5 = … ELSE “some value” END," ")||"_"||...) AS new_col1,

Вместо этого: 

 MD5(COALESCE(TBL1.col1," ")||"_"||COALESCE(new_column5," ")||"_"||...) AS 
        new_col1,
...