У меня есть набор данных с более чем 1000 столбцами, и я должен преобразовать его в паркет. Мы используем spark для преобразования данных в формат паркета и записи в AWS Glue. Я использую saveAsTable для записи данных непосредственно в таблицу Glue. Мой запрос к столу через Афину работает отлично. Но когда я подключаюсь к базе данных из куста и запрашиваю эту таблицу, я получаю эту ошибку:
FAILED: RuntimeException java .lang.ClassCastException: org. apache .had oop. hive.ql.io.parquet.serde.primitive.ParquetStringInspector не может быть преобразован в org. apache .had oop .hive.serde2.objectinspector.StructObjectInspector
Моя среда:
- Версия Spark: 2.4
- Версия EMR: 5.21.0
Любая помощь в этом действительно приветствуется. Пожалуйста, дайте мне знать, если вам нужна дополнительная информация по этому вопросу.
Спасибо