Amazon Athena не умеет читать данные из раздела - PullRequest
Новая
       5

Amazon Athena не умеет читать данные из раздела

0 голосов
/ 28 мая 2018

Я работаю над разделом в Афинах.У меня есть каталог в s3, где размещены файлы с датой.Я пытаюсь создать таблицу разделов даты и установить местоположение каждого раздела в файл с этой датой.Хотя заданный запрос местоположения для раздела выполняется успешно, я не могу увидеть данные в этом разделе с помощью запроса выбора.

После выполнения запроса ниже я могу просмотреть данные: изменить таблицу tbl_name раздел (дата = '2018-05-28 ') установить местоположение' s3: // bucket_name // test / 'Но не после выполнения этого: изменить таблицу tbl_name раздел (дата =' 2018-05-28 ') установить местоположение' s3: // bucket_name //test / test.csv '

Таким образом, если я задаю местоположение для каталога, он может выбирать данные, но не при задании местоположения для файла.Но мне нужно установить местоположение раздела с именем файла.Это работает в префекте Hive.Нужна помощь для Афины.

1 Ответ

0 голосов
/ 30 мая 2018

Если у вас такая структура папок, 

S3://bucket/myfodler/logs/2018/04/02/file1.csv
S3://bucket/myfodler/logs/2018/04/02/file2.csv
S3://bucket/myfodler/logs/2018/04/03/file1.csv
S3://bucket/myfodler/logs/2018/04/03/file2.csv

Тогда вы можете создать раздел, например, 

ALTER TABLE table_name ADD
  PARTITION (YEAR = '2018', MONTH='04', day='02') LOCATION 'S3://bucket/myfodler/logs/2018/04/02'

В вашем случае,

s3://bucket_name//test/test.csv-неправильная структура для создания раздела.

Если вы поделитесь структурой вашей папки s3, то я могу попытаться помочь вам в этом.

Подробнее о разделе Афины: Читать здесь

...