Структурированная потоковая передача Spark - создание сообщений Kafka Json со схемой и полезной нагрузкой - PullRequest
Новая
       92

Структурированная потоковая передача Spark - создание сообщений Kafka Json со схемой и полезной нагрузкой

0 голосов
/ 17 июня 2020

Есть ли простой способ включить схему в сообщение JSON в Spark? Я имею в виду от этого: 

{
    "registertime": 1493819497170,
    "userid": "User_1",
    "regionid": "Region_5",
    "gender": "MALE"
}

К этому: 

{
  "schema": {
    "type": "struct",
    "fields": [
      {
        "type": "int64",
        "optional": false,
        "field": "registertime"
      },
      {
        "type": "string",
        "optional": false,
        "field": "userid"
      },
      {
        "type": "string",
        "optional": false,
        "field": "regionid"
      },
      {
        "type": "string",
        "optional": false,
        "field": "gender"
      }
    ],
    "optional": false,
    "name": "ksql.users"
  },
  "payload": {
    "registertime": 1493819497170,
    "userid": "User_1",
    "regionid": "Region_5",
    "gender": "MALE"
  }
}

(пример взят из единого блога: kafka-connect-deep-dive-converters-serialization- объяснил )

После выполнения вышеупомянутого я сделаю to_json() и произведу в Kafka в Spark Structured Streaming.

Большое спасибо.

...