С заявлениями внутри оператора вставки HIVE EMR AWS - PullRequest
Новая
       22

С заявлениями внутри оператора вставки HIVE EMR AWS

0 голосов
/ 02 апреля 2019

Hive не распознает мой оператор WITH внутри команды INSERT.Как я могу понять куст?

Я создал внешние таблицы кустов для хранения всех данных, на которые есть ссылки в этом запросе.Это все прекрасно работает и данные доступны.Это фактический запрос, который будет вставлять выходные данные в таблицу churn_date_out.

Чтобы поместить этот выходной набор в таблицу, я использую команду вставки, которая затем выполняет функции with для построениявыходные данные.Однако, как только он запускается, Hive не нравится оператор WITH.

Операторы WITH каскадно пересекаются, и конечный результат выбирается из части дохода.Ничто из этого не имеет отношения к делу, пока мы можем придумать, как заставить Hive понравиться утверждение WITH.

Я действительно ценю любые идеи!Спасибо. 

 FAILED: ParseException line 2:0 cannot recognize input near 'WITH' 'customers' 'AS' in statement


INSERT OVERWRITE TABLE churn_data_out partition (month) (
WITH customers AS (
  SELECT c.cust_nm,
         aef.cust_key,
         min(date (SUBSTR(cast(cal.brdcsts_yr_mo_nbr AS VARCHAR),1,4) || '-' || SUBSTR(cast(cal.brdcst_yr_mo_nbr AS VARCHAR),5,6) || '-01')) AS first_payment,
         max(date (SUBSTR(cast(cal.brdcst_yr_mo_nbr AS VARCHAR),1,4) || '-' || SUBSTR(cast(cal.brdcst_yr_mo_nbr AS VARCHAR),5,6) || '-01')) AS last_payment
  FROM am_ad_event_fact_in as aef
INNER JOIN am_calendar_dim cal
    ON date_parse(aef.ad_evnt_start_dt, '%Y-%m-%d') = cal.clndr_dt
        AND cal.BRDCST_YR_NBR >= 2015
INNER JOIN am_eda_customer_dim c
    ON (aef.cust_key = c.cust_key)
  GROUP BY 1,2),

  months AS (
    SELECT month
FROM (SELECT sequence(date '2010-01-01', current_date, interval '1' month)
) AS x (i)
CROSS JOIN UNNEST(i) AS t (month)
),

athenasux AS (
  SELECT *
  FROM (customers as c
    INNER JOIN months as month
              ON (c.first_payment <= month))),


revenue AS (
    SELECT a.*,
    row_number() over (partition by a.cust_nm order by month) AS months_as_customer,
    max(case when aef.prio_cd >= 40 then 1 else 0 end) p40plus,
    sum(case when aef.spot_rate_nbr is null then 0 else aef.spot_rate_nbr end) as rev,
    count(aef.ad_evnt_key) as spots,
    count(distinct aef.ord_nbr) as num_orders,
    count(distinct syscode) num_syscodes
    FROM athenasux as a
    LEFT JOIN am_ad_event_fact_in as aef
    ON (aef.cust_key = a.cust_key
    AND date_parse(aef.ad_evnt_start_dt, '%Y-%m-%d') = a.month)
    GROUP BY a.cust_nm, a.cust_key, a.month, a.first_payment, a.last_payment
  )


SELECT *,
    sum(rev) over (partition by cust_key, cust_nm order by month
        rows between unbounded preceding and current row) rev_rt,
    sum(num_orders) over (partition by cust_key, cust_nm order by month
        rows between unbounded preceding and current row) num_orders_rt,
    sum(spots) over (partition by cust_key, cust_nm order by month
        rows between unbounded preceding and current row) spots_rt,
    sum(num_syscodes) over (partition by cust_key, cust_nm order by month
        rows between unbounded preceding and current row) num_syscodes_rt
FROM revenue
);

1 Ответ

0 голосов
/ 02 апреля 2019

Синтаксически, insert следует использовать в конце всех строк и в начале последнего SELECT.

with cte1 as (...)
,cte2 as (...)
INSERT INTO ...
SELECT ....
...