Поместите данные карты через Firehose в Афину - PullRequest
Новая
       32

Поместите данные карты через Firehose в Афину

1 голос
/ 09 июля 2019

У меня есть столбец в Афинах с типом карты. Я определил схему в Glue как Map.

Я определил поток пожарного шланга, который ссылается на схему клея и преобразует ее в формат паркета. Тем не менее, я получаю следующую ошибку при отправке данных

The schema is invalid. Error parsing the schema: Error: type expected at the position 0 of 'MAP <STRING, INT>' but 'MAP ' is found.

Я использую клиент boto3 firehose для отправки данных.

Вот что я пробовал 

records=[{'Data': '{"id": "aac4da11-d166-42bd-83db-c670f5b5676d", "createdutc": "2019-06-27 10:25:33","tokens": {"black": 1, "spot": 1, "joint": 1, "leg": 1, "due": 1, "itchinghow": 1, "reduce": 1}'}]

firehoseClient.put_record_batch(
    DeliveryStreamName='conversations-analysis',
    Records=records)
...