Как мне настроить kafka-connect-spooldir для использования массива json? - PullRequest
Новая
       11

Как мне настроить kafka-connect-spooldir для использования массива json?

0 голосов
/ 31 октября 2018

Я настроил kafka-connect-spooldir для использования файлов, содержащих объекты JSON, в соответствии с инструкциями на https://github.com/jcustenborder/kafka-connect-spooldir.. При этом используются файлы, содержащие один или несколько объектов JSON. Теперь, как я могу настроить это так, чтобы он использовал файл, содержащий массив JSON?

Вот мои текущие схемы ключей и значений: 

key.schema={"name": "com.example.users.UserKey", "type": "STRUCT", "isOptional": false, "fieldSchemas": {"id": {"type": "INT64", "isOptional": false }}}
value.schema={"name": "com.example.users.User", "type": "STRUCT", "isOptional": false, "fieldSchemas": {"id": {"type": "INT64", "isOptional": false}, "test": {"type": "STRING", "isOptional": true}}}

Вот пример моих данных: 

{
  "id": 10,
  "test": "Carla Howe"
}
{
  "id": 1,
  "test": "Gayle Becker"
}

Вот как я хотел бы, чтобы данные выглядели так: 

[
  {
    "id": 10,
    "test": "Carla Howe"
  },
  {
    "id": 1,
    "test": "Gayle Becker"
  }
]

Я пытался просто изменить первый тип со STRUCT на ARRAY, но это выдает NPE "valueSchema не может быть нулевым".

Может кто-нибудь указать мне правильное направление или привести пример?

1 Ответ

0 голосов
/ 06 мая 2019

В соответствии с документацией существует инструмент SchemaGenerator, который можно запустить для генерации схемы для образцов данных.

...