Hive: невозможно вставить массивы и карты из файла в таблицу кустов - PullRequest
Новая
       18

Hive: невозможно вставить массивы и карты из файла в таблицу кустов

0 голосов
/ 04 апреля 2019

Вот схема таблицы, которую я имею 

CREATE DATABASE IF NOT EXISTS mydb;
USE mydb;

CREATE TABLE IF NOT EXISTS mytab (

idcol   string,
arrcol  array<string>,
mapcol  map<string,string>
)
PARTITIONED BY (data_date string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
STORED AS TEXTFILE;

Теперь все, что я хочу сделать, это вставить одну строку в эту таблицу.У меня есть эта строка в файле PSV как

123|["a","b"]|{"1":"a","2":"b"}

Вот как я пытаюсь загрузить данные

USE mydb; LOAD DATA INPATH '/path/to/file' INTO TABLE mytab PARTITION (data_date='2019-02-02');

запросуспешно, но когда я вижу результаты

hive -e "use mydb; select * from mytab where data_date='2019-02-02';"

, я получаю 

hive> select * from mytab;
OK
123 ["[\"a\",\"b\"]"]   {"{\"1\":\"a\",\"2\":\"b\"}":null}  2019-02-02
Time taken: 2.39 seconds, Fetched: 1 row(s)

Так выглядит, как LOAD произвел некоторое преобразование данных.Он сохранил строковое значение в порядке, но имел некоторые проблемы с массивом и картой.

Как правильно вставить массивы и карты?

Я также попробовал следующее в качестве ввода

123|array("a","b")|{"1":"a","2":"b"}

Загрузка прошла успешно, но когда я запросил данные, я получил 

root@0d2b0044b4c1:/opt# hive -e "use mydb;select * from mytab;"
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Logging initialized using configuration in jar:file:/opt/hive/lib/hive-common-2.3.2.jar!/hive-log4j2.properties Async: true
OK
Time taken: 6.096 seconds
OK
123 ["array(\"a\",\"b\")"]  {"{\"1\":\"a\",\"2\":\"b\"}":null}  1554090675
Time taken: 3.266 seconds, Fetched: 1 row(s)

ОБНОВЛЕНИЕ

большое спасибо @Педрам Башири за ваш ответ.Я создал внешнюю таблицу и смог ее заполнить.Тем не менее, все заполняется в виде строки 

hive> drop table if exists extab;
OK
Time taken: 0.01 seconds
hive> create external table extab(idcol string,arrcol array<string>,mapcol map<string,string>, data_date string)
    >   row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
    > with serdeproperties (
    >   "separatorChar" = "|",
    >   "quoteChar"     = "\"",
    >   "escapeChar"    = "\\"
    >   )
    >   stored as textfile
    > location '/tmp/serdes/';
OK
Time taken: 0.078 seconds
hive> desc extab;
OK
idcol                   string                  from deserializer
arrcol                  string                  from deserializer
mapcol                  string                  from deserializer
data_date               string                  from deserializer
Time taken: 0.059 seconds, Fetched: 4 row(s)
hive> select * from extab;
OK
123 ["a","b"]   {"1":"a","2":"b"}   2019
Time taken: 0.153 seconds, Fetched: 1 row(s)
hive>

, вот что хранится в hdfs 

root@0d2b0044b4c1:/opt# hadoop fs -ls -R /tmp/serdes/
-rw-r--r--   1 root root         37 2019-04-04 22:06 /tmp/serdes/x.psv
root@0d2b0044b4c1:/opt# hadoop fs -cat /tmp/serdes/x.psv
123|["a","b"]|{"1":"a","2":"b"}|2019
root@0d2b0044b4c1:/opt#

Я также пытался 

create external table extab(idcol string,arrcol array<string>,mapcol map<string,string>, data_date string)
  row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
with serdeproperties (
  "separatorChar" = "|"
  )
  stored as textfile
location '/tmp/serdes/';

, но все же, все сохраняетсякак строка, так что теперь я, когда я пытаюсь вставить, я получаю несоответствие типов.

Ответы [ 2 ]

1 голос
/ 05 апреля 2019

Так что после долгих раскопок я понял это 

CREATE TABLE IF NOT EXISTS mytab (

idcol   string,
arrcol  array<string>,
mapcol  map<string,string>
)
PARTITIONED BY (data_date string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '|'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY '='
STORED AS TEXTFILE;

тогда я могу просто загрузить следующее

123|a,b|1=a,2=b|2019

root@0d2b0044b4c1:/opt# hive -e "use mydb; LOAD DATA INPATH '/path/to/file' INTO TABLE mytab PARTITION (data_date='2019');"
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Logging initialized using configuration in jar:file:/opt/hive/lib/hive-common-2.3.2.jar!/hive-log4j2.properties Async: true
OK
Time taken: 6.456 seconds
Loading data to table mydb.mytab partition (data_date=2019)
OK
Time taken: 1.912 seconds
root@0d2b0044b4c1:/opt# hive -e "use mydb; select * from mytab;"
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]

Logging initialized using configuration in jar:file:/opt/hive/lib/hive-common-2.3.2.jar!/hive-log4j2.properties Async: true
OK
Time taken: 6.843 seconds
OK
123 ["a","b"]   {"1":"a","2":"b"}   2019
root@0d2b0044b4c1:/opt#

именно то, что мне нужно

1 голос
/ 05 апреля 2019

Используйте opencsv для создания внешней таблицы на основе вашего psv-файла и назовите ее mytab_exterrnal.Укажите serdeproperties, например 

with serdeproperties (
"separatorChar" = "|",
"quoteChar"     = """,
"escapeChar"    = "\\"
)

, а затем просто введите 

INSERT INTO mytab
SELECT * FROM mytab_external;

https://community.hortonworks.com/articles/8313/apache-hive-csv-serde-example.html

...