AWS Athena: HIVE_UNKNOWN_ERROR: невозможно создать формат ввода

Question

Я просканировал пару файлов XML на S3, используя AWS Glue , используя простой классификатор XML:

Однако, когда я пытаюсь выполнить любой запрос для этих данных, используя AWS Athena , я получаю следующую ошибку (обратите внимание, что это самый простой запрос, который я делаю здесь):

HIVE_UNKNOWN_ERROR: невозможно создать формат ввода

Обратите внимание, что Афина может видеть мойтаблицы и он может видеть столбцы, он просто не может их запросить:

• Я заметил, что есть кто-то с такой же проблемойна дискуссионных форумах AWS: Athena XML Query GiveUneEE Неизвестная ошибка , но она никого не любила.

• Я знаю, что естьпохожий вопрос здесь об этой ошибке, но рассматриваемый запрос нацелен на базу данных RDS, в отличие от корзины S3, как у меня здесь.

Кто-нибудь пошелрешение для этого?

Answer 1

К сожалению в это время 12/2018 Афина не может запрашивать ввод XML , что трудно понять, когда вы слышите, что Афина вместе с AWS Glue может запрашивать XML.

То, что вы видите на сканере AWS, верно, но не то, что вы думаете о его работе!Например, после того, как ваш сканер запустился и вы видите таблицы, но не можете выполнять запросы Athena.Зайдите в каталог клея AWS и щелкните правой кнопкой мыши по таблицам, выберите таблицу, отредактируйте свойства, и она будет выглядеть примерно так:

Обратите внимание, что формат ввода равен нулю?Если у вас есть какие-либо другие таблицы, вы можете посмотреть их свойства или обратиться к документации по входным форматам для Athena .Это ошибка, которую вы получаете.

Решения:

1. преобразуйте ваши данные в текстовые / json / avro / другие поддерживаемые форматы перед загрузкой
2. создайте связующее задание AWS, которое преобразует источник в цельот xml до целевого поддерживаемого формата Athena (возможно, сжатого с помощью ORC / Parquet)