AWS Athena округляет числа при импорте файла CSV - PullRequest
Новая
       7

AWS Athena округляет числа при импорте файла CSV

0 голосов
/ 15 января 2019

Я пытаюсь импортировать некоторые данные из CSV в AWS Athena, которые выглядят следующим образом.

Когда я затем просматриваю данные в таблице test_job_id округляет данные до 1550000000000. Кто-нибудь знает, как я могу получить полные значения, такие как 1546910000000 для test_job_id вместо того, чтобы иметь это вокруг каждый раз?

Вот запрос создания таблицы, который использует Афина: 

CREATE EXTERNAL TABLE IF NOT EXISTS automation_test_results.automation_test_results (
  `test_job_id` decimal(13),
  `testrail_id` string,
)

Обновление: Я сейчас просматриваю файл в TextEdit. Вот как выглядят данные. Когда я загружаю это в Афину, я получаю пустые квадраты вместо каждой строки в столбце test_job_id. Вот данные: enter image description here

Я правильно вижу значения, если я указываю string для типа для test_job_id, но я бы предпочел, чтобы это было какое-то числовое значение.

1 Ответ

0 голосов
/ 16 января 2019

С некоторыми экспериментами я смог импортировать ваши данные , если Я удалил кавычки из десятичного числа. Моя таблица создания выглядит так: 

CREATE EXTERNAL TABLE IF NOT EXISTS athena_test.s3data (
  `test_job_id` decimal,
  `testrail_id` string 
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = ',',
  'field.delim' = ','
) LOCATION 's3://the-bucket/athena/'
TBLPROPERTIES ('has_encrypted_data'='false');

и данные выглядят так: 

1547559017125, "@C665"
1547559017126, "@C666"
1547559017127, "@C667"

Если я попытаюсь использовать org.apache.hadoop.hive.serde2.OpenCSVSerde в качестве формата строки, то мне, похоже, это не понравится в любом случае, хотя я гораздо менее знаком с этим.

Есть ли способ сгенерировать CSV без кавычек вокруг десятичного числа?

...