AWS Афина запрашивает смешанные JSON объекты, некоторые из которых перемещены в Ледник - PullRequest
Новая
       34

AWS Афина запрашивает смешанные JSON объекты, некоторые из которых перемещены в Ледник

0 голосов
/ 03 апреля 2020

У меня есть таблица Athena, указывающая на список JSON объектов, схожих с: 

CREATE EXTERNAL TABLE `example_table` (
`foo` struct<
  `bar`: string>
)
ROW FORMAT SERDE 
  'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
  'ignore.malformed.json' = 'true'
)
LOCATION 
  's3://bucket/json';

У этого сегмента есть политика жизненного цикла, так что файлы определенного возраста go для Glacier. Я хотел бы запросить другие файлы, но вижу следующую ошибку: 

Your query has the following error(s):

HIVE_CURSOR_ERROR: com.amazonaws.services.s3.model.AmazonS3Exception: 
The operation is not valid for the object's storage class (
   Service: Amazon S3; 
   Status Code: 403; 
   Error Code: InvalidObjectState;

AWS утверждает, что игнорирует объекты Glacier в этом обновлении (2/2019): https://docs.aws.amazon.com/athena/latest/ug/release-note-2019-02-18.html

Мне не отказывают в доступе, скорее InvalidObjectState. Как я могу создать таблицу для запроса этих JSON файлов?

...