Как настроить коннектор datagen в конфлюэнтном центре управления - PullRequest
Новая
       120

Как настроить коннектор datagen в конфлюэнтном центре управления

0 голосов
/ 05 августа 2020

Я хочу знать процедуру, в которой я могу использовать коннектор генерации данных в конфлюэнтном центре, чтобы я мог генерировать случайные данные для тестовых топов c.

Я пытался подключить коннектор datagen с некоторыми настройками, но он всегда не работает.

Обновление: я попытался подключить свою собственную схему, созданную в topi c, но не получил ее, и соединитель datagen не запускается.

вот конфигурация для подключения datagen: 

{
  "value.converter.schema.registry.url": "http://localhost:8081",
  "value.converter.schemas.enable": "false",
  "name": "datagen-protobuf-userprofile",
  "connector.class": "io.confluent.kafka.connect.datagen.DatagenConnector",
  "tasks.max": "1",
  "key.converter": "org.apache.kafka.connect.storage.StringConverter",
  "value.converter": "io.confluent.connect.protobuf.ProtobufConverter",
  "transforms": [
    "SetSchemaMetadata"
  ],
  "transforms.SetSchemaMetadata.type": "org.apache.kafka.connect.transforms.SetSchemaMetadata$Value",
  "transforms.SetSchemaMetadata.schema.name": "value_User_PROFILE",
  "kafka.topic": "User_PROFILE",
  "max.interval": "1000",
  "iterations": "10000000",
  "schema.filename": "value_User_PROFILE",
  "schema.keyfield": "userid",
  "quickstart": "value_User_PROFILE"
}

Схема определена в новых топах c: 

{
  "doc": "Sample schema to help you get started.",
  "fields": [
    {
      "doc": "The int type is a 32-bit signed integer.",
      "name": "userid",
      "type": "int"
    },
    {
      "doc": "The string is a unicode character sequence.",
      "name": "firstname",
      "type": "string"
    },
    {
      "doc": "The string is a unicode character sequence.",
      "name": "lastname",
      "type": "string"
    },
    {
      "doc": "The string is a unicode character sequence.",
      "name": "countrycode",
      "type": "string"
    },
    {
      "doc": "this si double which store floting value as well",
      "name": "rating",
      "type": "double"
    }
  ],
  "name": "value_User_PROFILE",
  "namespace": "com.mycorp.mynamespace",
  "type": "record"
}

1 Ответ

0 голосов
/ 07 августа 2020

Вы можете попробовать следующие шаги:

  1. Поместите каталог коннектора datagen в настроенный путь плагина - в случае распределенных воркеров вам нужно сделать это для всех воркеров
  2. Перезапустите всех рабочих
  3. Коннектор должен появиться на странице списка коннекторов в центре управления (нажмите connect-ip:8083/connector-plugins, чтобы убедиться, что коннектор был загружен правильно)
  4. Заполните свойства коннектора - вы можете обратиться в следующее репо для образцов значений конфигурации: https://github.com/confluentinc/kafka-connect-datagen/tree/master/config (Вы также можете загрузить файл свойств в центр управления)
  5. Протестируйте и продолжите, позже запустите коннектор
...