Как читать зашифрованные наборы данных s3 в формате delta, используя AWS Athena? - PullRequest
Новая
       20

Как читать зашифрованные наборы данных s3 в формате delta, используя AWS Athena?

1 голос
/ 21 января 2020

Мне интересно, у нас есть поддержка для чтения зашифрованных дельта-форматированных наборов данных KMS-CSE через Athena?

Я проходил через https://docs.delta.io/0.5.0/presto-integration.htm, в котором ничего не говорится о поддержке шифрования.

Если у меня сам манифест зашифрован с помощью KMS-CSE в s3, смогу ли я успешно прочитать его в Афине?

с помощью приведенной ниже команды, я могу создать таблицу в athena. 

CREATE EXTERNAL TABLE `delta_athena_demo`(
  `id` bigint)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.SymlinkTextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://testing/_symlink_format_manifest/'
TBLPROPERTIES (
  'has_encrypted_data'='true')

однако, когда я запрашиваю, я получаю следующую ошибку:

Ваш запрос имеет следующие ошибки:

HIVE_UNKNOWN_ERROR: Обнаружены зашифрованные объекты. Пожалуйста, добавьте TBLPROPERTIES (has_encrypted_data = true) к свойствам таблицы.

(найдено в delta-users@googlegroups.com)

1 Ответ

1 голос
/ 21 января 2020

Я связался с поддержкой AWS Athena, и они подтвердили, что Athena в настоящее время не поддерживает чтение из манифеста зашифрованного текстового ввода. Они могут рассматривать это как запрос функции в будущем.

...