Загрузка Pandas данных в Hive с типом данных int64 - PullRequest
Новая
       1

Загрузка Pandas данных в Hive с типом данных int64

1 голос
/ 27 января 2020

Я получаю сообщение об ошибке при загрузке кадра данных pandas, который содержит столбец с типом данных int64 в таблицу кустов.

Когда я исключаю типы данных int64, данные загружаются в куст, но это не удается, когда я включаю типы данных. Извлечение значений данных для B и C: 12,12345678

Pandas

df.dtypes
A    object
B    int64
C    int64
D    float6

df_s.to_parquet("data.parquet")

Hive 

CREATE TABLE mytable( 
A string,
B int,
C int,
D string) 
PARTITIONED BY (RECORD_CREATE_DT date) 
STORED AS PARQUET

Load data inpath (<hdfs_path_of_file>) into table mytable partition (record_create_dt='9999-12-31');

Запрос 

select * from mytable;

Ошибка:

Error: java.io.IOException: ... : java.lang.ClassCastException: org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.io.IntWritable (state=,code=0)

Ошибка, если в таблице кустов используется строка вместо int Error: java.io.IOException: ... : java.lang.UnsupportedOperationException: Cannot inspect org.apache.hadoop.io.LongWritable (state=,code=0

...