время вставки этой записи в ваши новые данные при изменении таблицы (вставка новых данных) в куст

Question

Пример таблицы Hive:

id|year
1|1990

Добавлены новые данные для той же таблицы:

id|year
2|2010

но мне нужно время вставки с новым столбцом, например:

id|year|updateddate
1|1990|olddatatimestamp
2|2010|updateddatatimestamp

это возможно с ульем? и даже интересно знать, как это будет происходить и в спарк-скала (особенно с DF / RDD).

Спасибо

Answer 1

В Hive нет автоматически вычисляемых столбцов, вставьте метку времени явно, используя current_timestamp.И, конечно, вам нужно добавить updateddate столбец:

insert into table tablename
select 2 as ID, 2010 as year, current_timestamp as updateddate;