Как нанести схему паркета на клей? - PullRequest
Новая
       66

Как нанести схему паркета на клей?

0 голосов
/ 26 мая 2020
• 1000 сопоставить эти типы? (включая сложные типы - структуры, массивы и т. д. c.)

То, что я пробовал: 

client.create_table(DatabaseName=db_name, TableInput={
"StorageDescriptor": {
"Columns":[
            {
                'Name': x.name,
                'Type': x.dataType.typeName()
            } for x in df.schema
}
})

, где df - это искровой фрейм данных, и исключая нерелевантные параметры.

фактическое создание таблицы работает, но запрос к таблице (с использованием athena) возвращает: 

HIVE_METASTORE_ERROR: com.facebook.presto.spi.PrestoException: Error: type expected at the position 0 of 'integer' but 'integer' is found. (Service: null; Status Code: 0; Error Code: null; Request ID: null)
...