HIVE_BAD_DATA: неправильный тип с использованием паркетов в AWS Athena - PullRequest
0 голосов
/ 11 декабря 2019

Я создал Glue Crawler для чтения файлов из S3 и создания таблицы для каждого пути S3. Таблица health_users была создана с использованием неправильного типа для определенного столбца: столбец two_factor_auth_enabled был создан как int вместо строки.

Вручную, я пошел в Glue Catalog и обновил схему таблицы health_users.

После этого я попытался снова запустить запрос на Афине, и он по-прежнему выдавал ту же ошибку:

Ваш запрос содержит следующие ошибки:

HIVE_BAD_DATA: ПолеТип BOOLEAN типа two_factor_auth_enabled в паркете несовместим с типом int, определенным в схеме таблицы. Этот запрос выполнялся к базе данных «test_parquets», если только он не был квалифицирован запросом. Пожалуйста, оставьте сообщение об ошибке на нашем форуме или обратитесь в службу поддержки с Query Id: c3a86b98-70a2-4c70-97d8-8bc377c455b8.

Я проверил структуру таблицы в Афине, и столбец two_factor_auth_enabled - это строка (в прикрепленном файле показано определение таблицы):

enter image description here

Что не так с моим решением? Как я могу исправить эту ошибку?

...