Как сохранить данные хранилища улья в S3 в незашифрованном формате - PullRequest
Новая
       23

Как сохранить данные хранилища улья в S3 в незашифрованном формате

0 голосов
/ 24 мая 2019

Я пытаюсь загрузить незашифрованные данные из другого источника в куст и пытаюсь сохранить их в другом месте в S3 с помощью EMR.

Однако проблема заключается в сохранении данных в S3, их сохранении в виде файлов деталей, а когда я открываю файл деталей, все они зашифрованы.

Вопрос: почему это шифруется, когда а) я не зашифровал в улье SQL б) В S3 также нет настроек, связанных с шифрованием по умолчанию Как поместить данные в S3 в обычный формат

Вот код, отсекаемый 

CREATE TABLE test_table_hdfs (
ID BIGINT,
W_ID STRING,
A STRING,
A_TIME STRING,
A_NAME STRING,
T_NAME STRING,
LCATION STRING,
USER_ID STRING,
WORK_UNITS STRING
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE
LOCATION 's3://my_test_bucket/emr_test/unencrypted/test_hive_table/';

INSERT OVERWRITE TABLE test_table_hdfs
select
ID,
W_ID,
ASIN,
A_TIME,
A_NAME,
T_NAME,
LOCATION,
USER_ID,
WORK_UNITS
FROM
test_table_edx limit 1000;

После запуска sql сгенерирует файлы деталей, такие как s3: // my_test_bucket / emr_test / unencrypted / test_hive_table / 000000_0. Когда я открою этот файл детали, он будет зашифрован. Я требовал, чтобы это был обычный текстовый файл.

Кроме того, исходная таблица test_table_edx представляет собой обычный файл TSV. Пожалуйста помоги.

...