Каков формат данных .csv.metadata файлов, написанных Amazon Athena?
Помимо выходного файла каждого запроса, существует файл метаданных.Похоже, это описывает схему результата.Я предполагаю, что это то, что Афина использует для создания ResultSet.ResultSetMetadata части ответа GetQueryResults запросов, и что она каким-то образом создается Hive или Presto.из перечисленного выше:
00000000 0a 1b 32 30 31 39 30 34 32 33 5f 31 32 35 31 32 |..20190423_12512|
00000010 38 5f 30 30 30 30 31 5f 65 68 74 75 72 22 19 0a |8_00001_ehtur"..|
00000020 04 68 69 76 65 22 03 61 72 79 2a 03 61 72 79 32 |.hive".ary*.ary2|
00000030 05 61 72 72 61 79 48 03 |.arrayH.|
Это ResultSet.ResultSetMetadata выглядит так:
"ResultSetMetadata": {
"ColumnInfo": [
{
"CatalogName": "hive",
"SchemaName": "",
"TableName": "",
"Name": "ary",
"Label": "ary",
"Type": "array",
"Precision": 0,
"Scale": 0,
"Nullable": "UNKNOWN",
"CaseSensitive": false
}
]
}
Я понимаю, что это внутренний файл для Афины, но мне любопытно.