HIVE - больше строк после перезаписи вставки, чем при первоначальном выборе - PullRequest
0 голосов
/ 07 февраля 2020

Привет! Я использую перезапись вставки, где я использую оператор выбора для другой таблицы, а затем перезаписываю определенный раздел в таблице, над которой я работаю, с выбранными данными.

Проблема, с которой я столкнулся, что количество данных, которое я получаю, отличается для исходного выбора и перезаписанного раздела для больших объемов данных. Счетчик (*) дает меньше данных в исходной таблице, чем в новом разделе.

Используемый мной запрос выглядит примерно так:

INSERT OVERWRITE TABLE new_table_name
PARTITION (Partition_column = X)
(
SELECT col1, ..., colN
FROM orig_table_name
where Partition_column = X
)

Редактировать: я также пробовал считать (some_column ), поскольку я видел, что подсчет () может давать неправильные результаты, и я совершенно уверен, что проблема не в подсчете ().

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...