У меня есть этот запрос Hive, который все время выдает эту ошибку:
Warning: Map Join MAPJOIN[61][bigTable=?] in task 'Map 3' is a cross product
Warning: Map Join MAPJOIN[58][bigTable=xxx_table] in task 'Map 3' is a cross product
Это перекрестное произведение. Я должен избегать этого, потому что запрос занимает слишком много времени, слишком много памяти
Это запрос:
WITH view1 AS
(
SELECT Max(date) AS max_date
FROM table1 )
view2 as (
SELECT * FROM table
)
SELECT
*
FROM view1,view2
WHERE
view2.date > view1.max_date
Есть ли у вас какие-либо идеи, как решить это ПРЕДУПРЕЖДЕНИЕ? Я также пробовал запрос EXPLAIN, но не могу понять журнал