почему в hive и bigSQL наблюдается несоответствие данных на 1 запись? - PullRequest
Новая
       10

почему в hive и bigSQL наблюдается несоответствие данных на 1 запись?

0 голосов
/ 01 октября 2018

Я создал таблицу улья и интегрировал ее в bigSQL.в улье мой счет верен, но в bigSQL количество записей дополнительно на 1. Ниже приведены свойства таблицы, которые я использовал для создания таблицы улья. 

create table test(name string,age int,sal float,city string,country string,emp_id int,increment int)
ROW FORMAT DELIMITED FIELDS TERMINATED  BY '|'
STORED AS TEXTFILE
LOCATION '/user/test'
tblproperties ("skip.header.line.count"="1");

Текстовый файл, который я загружаюимеет имена столбцов в самой первой строке.Поэтому я должен использовать 

tblproperties ("skip.header.line.count"="1");

Когда я выполняю запрос на подсчет в кусте, я получаю вывод ниже 

Total MapReduce CPU Time Spent: 7 seconds 440 msec
OK
48203

Однако, когда я синхронизировал таблицу в bigSQL, я получаюниже счета 

+-------+
|     1 |
+-------+
| 48204 |

Есть идеи, где я совершаю ошибку?

спасибо

1 Ответ

0 голосов
/ 03 октября 2018

Я нашел решение этой проблемы.

1) We need to create a temp hive table with tblproperties ("skip.header.line.count"="1");.
2) Load the file on this temp table.
3) create another table without tblproperties ("skip.header.line.count"="1");.
4) insert into tbl select * from temo_tbl;.
...