Невозможно создать таблицу Hive с помощью Presto из файла CSV - PullRequest
Новая
       17

Невозможно создать таблицу Hive с помощью Presto из файла CSV

2 голосов
/ 17 июня 2019

Я хочу создать таблицу Hive, используя Presto, с данными, хранящимися в CSV-файле на S3.

Я загрузил файл на S3, и я уверен, что Presto может подключиться к корзине.

Теперь, когда я даю команду create table, я получаю все значения (строки) как NULL при запросе таблицы.

Я пытался разобраться в похожих проблемах, но оказалось, что Presto не так известен в Stackoverflow.

Некоторые строки из файла: 

PassengerId,Survived,Pclass,Name,Sex,Age,SibSp,Parch,Ticket,Fare,Cabin,Embarked
1,0,3,"Braund, Mr. Owen Harris",male,22,1,0,A/5 21171,7.25,,S
2,1,1,"Cumings, Mrs. John Bradley (Florence Briggs Thayer)",female,38,1,0,PC 17599,71.2833,C85,C
3,1,3,"Heikkinen, Miss. Laina",female,26,0,0,STON/O2. 3101282,7.925,,S
4,1,1,"Futrelle, Mrs. Jacques Heath (Lily May Peel)",female,35,1,0,113803,53.1,C123,S
5,0,3,"Allen, Mr. William Henry",male,35,0,0,373450,8.05,,S
6,0,3,"Moran, Mr. James",male,,0,0,330877,8.4583,,Q
7,0,1,"McCarthy, Mr. Timothy J",male,54,0,0,17463,51.8625,E46,S
8,0,3,"Palsson, Master. Gosta Leonard",male,2,3,1,349909,21.075,,S
9,1,3,"Johnson, Mrs. Oscar W (Elisabeth Vilhelmina Berg)",female,27,0,2,347742,11.1333,,S
10,1,2,"Nasser, Mrs. Nicholas (Adele Achem)",female,14,1,0,237736,30.0708,,C
11,1,3,"Sandstrom, Miss. Marguerite Rut",female,4,1,1,PP 9549,16.7,G6,S
12,1,1,"Bonnell, Miss. Elizabeth",female,58,0,0,113783,26.55,C103,S
13,0,3,"Saundercock, Mr. William Henry",male,20,0,0,A/5. 2151,8.05,,S
14,0,3,"Andersson, Mr. Anders Johan",male,39,1,5,347082,31.275,,S
15,0,3,"Vestrom, Miss. Hulda Amanda Adolfina",female,14,0,0,350406,7.8542,,S
16,1,2,"Hewlett, Mrs. (Mary D Kingcome) ",female,55,0,0,248706,16,,S
17,0,3,"Rice, Master. Eugene",male,2,4,1,382652,29.125,,Q
18,1,2,"Williams, Mr. Charles Eugene",male,,0,0,244373,13,,S
19,0,3,"Vander Planke, Mrs. Julius (Emelia Maria Vandemoortele)",female,31,1,0,345763,18,,S
20,1,3,"Masselmani, Mrs. Fatima",female,,0,0,2649,7.225,,C

Мой CSV-файл здесь , возьмите train.csv отсюда. Следовательно, моя команда presto: 

create table testing_nan_4 ( PassengerId integer, Survived integer, Pclass integer, Name varchar, Sex varchar, Age integer, SibSp integer, Parch integer, Ticket integer, Fare double, Cabin varchar, Embarked varchar ) with ( external_location = 's3://my_bucket/titanic_train/', format = 'textfile' );

Результаты: 

 passengerid | survived | pclass | name | sex  | age  | sibsp | parch | ticket | fare | cabin | embarked
-------------+----------+--------+------+------+------+-------+-------+--------+------+-------+----------
 NULL        | NULL     | NULL   | NULL | NULL | NULL | NULL  | NULL  | NULL   | NULL | NULL  | NULL
 NULL        | NULL     | NULL   | NULL | NULL | NULL | NULL  | NULL  | NULL   | NULL | NULL  | NULL
 NULL        | NULL     | NULL   | NULL | NULL | NULL | NULL  | NULL  | NULL   | NULL | NULL  | NULL
 NULL        | NULL     | NULL   | NULL | NULL | NULL | NULL  | NULL  | NULL   | NULL | NULL  | NULL
 NULL        | NULL     | NULL   | NULL | NULL | NULL | NULL  | NULL  | NULL   | NULL | NULL  | NULL
 NULL        | NULL     | NULL   | NULL | NULL | NULL | NULL  | NULL  | NULL   | NULL | NULL  | NULL
 NULL        | NULL     | NULL   | NULL | NULL | NULL | NULL  | NULL  | NULL   | NULL | NULL  | NULL
 NULL        | NULL     | NULL   | NULL | NULL | NULL | NULL  | NULL  | NULL   | NULL | NULL  | NULL

и ожидается получение фактических данных.

Ответы [ 2 ]

1 голос
/ 19 июня 2019

Формат хранения CSV Hive в настоящее время поддерживается в Starburst Presto, см .: https://docs.starburstdata.com/latest/release/release-302-e.html?highlight=csv

Также ведется работа над тем, чтобы заставить его работать в PrestoSQL, см .: https://github.com/prestosql/presto/pull/920

Тогда вы можете подключить такой стол в разъеме Presto Hive: 

CREATE TABLE hive.default.csv_table_with_custom_parameters (
    c_bigint varchar,
    c_varchar varchar)
WITH (
    csv_escape = '',
    csv_quote = '',  
    csv_separator = U&'\0001', -- to pass unicode character
    external_location = 'hdfs://hadoop/datacsv_table_with_custom_parameters',
    format = 'CSV')

В вашем случае это будет: 

CREATE TABLE hive.default.csv_table_with_custom_parameters (
       PassengerId int, Survived int, Pclass int, Name string, Sex string, Age int, SibSp int, Parch int, Ticket int, Fare double, Cabin string, Embarked string)
WITH (
    csv_escape = '\',
    csv_quote = '"',  
    csv_separator = ',',
    external_location = 's3://my_bucket/titanic_train/',
    format = 'CSV')

Обратите внимание, что для табличных свойств csv_escape, csv_quote и csv_separator поддерживается только однозначное значение.

Также "skip.header.line.count"="1" не имеет синтаксиса эквивалентности в Presto для таблицы CSV. Поэтому я предлагаю вам удалить заголовок из файла данных.

1 голос
/ 18 июня 2019

В настоящее время в формате текстового файла вы должны передать файл с разделением 0x1 ('\ u0001') для правильного его чтения.Проблема в том, что Presto здесь не поддерживает пользовательский разделитель.

https://github.com/prestodb/presto/issues/10905

Рекомендую использовать Hive DDL здесь и легко читать в Presto.

Вот запрос Hive: 

CREATE EXTERNAL TABLE mytable ( 
   PassengerId int, Survived int, Pclass int, Name string, Sex string, Age int, SibSp int, Parch int, Ticket int, Fare double, Cabin string, Embarked string 
)

ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
  'separatorChar' = ',',
  'quoteChar' = '\"',
  'escapeChar' = '\\'
)
STORED AS TEXTFILE
LOCATION 's3://bucket-path/csv_data/'
TBLPROPERTIES (
  "skip.header.line.count"="1")
...