Как создать запись Tombstone Avro в Kafka с использованием точки net? - PullRequest
Новая
       92

Как создать запись Tombstone Avro в Kafka с использованием точки net?

1 голос
/ 05 мая 2020

мой sink.properties: 

{
  "name": "jdbc-oracle",
  "config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
    "tasks.max": "1",
    "topics": "orders",
    "connection.url": "jdbc:oracle:thin:@10.1.2.3:1071/orac",
    "connection.user": "ersin",
    "connection.password": "ersin!",
    "auto.create": "true",
    "delete.enabled": "true",
    "pk.mode": "record_key",
    "pk.fields": "id",
    "insert.mode": "upsert",
    "plugin.path": "/home/ersin/confluent-5.4.1/share/java/",
    "name": "jdbc-oracle"
  },
  "tasks": [
    {
      "connector": "jdbc-oracle",
      "task": 0
    }
  ],
  "type": "sink"
}

мой connect-avro-distributed.properties: 

bootstrap.servers=10.0.0.0:9092

group.id=connect-cluster

key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://10.0.0.0:8081
value.converter=io.confluent.connect.avro.AvroConverter
value.converter.schema.registry.url=http://10.0.0.0:8081

config.storage.topic=connect-configs
offset.storage.topic=connect-offsets
status.storage.topic=connect-statuses

config.storage.replication.factor=1
offset.storage.replication.factor=1
status.storage.replication.factor=1

internal.key.converter=org.apache.kafka.connect.json.JsonConverter
internal.value.converter=org.apache.kafka.connect.json.JsonConverter
internal.key.converter.schemas.enable=false
internal.value.converter.schemas.enable=false

Код 

var messageToSend = new Message <GenericRecord,GenericRecord>
{
    Key=recordKey 
    //,Value=recordValue
};

Когда я хочу отправить данные с нулевым значением, появляется ошибка (null reference).

Как я могу решить эту ошибку?

заранее спасибо

1 Ответ

1 голос
/ 05 мая 2020 
var tombstoner = new ProducerBuilder<int, Null>(_kafkaConfiguration.ProducerConfiguration)
    .SetKeySerializer(new AvroSerializer<int>(_schemaRegistryClient))
    .SetValueSerializer(Serializers.Null)
    .Build();

var tasks = properties.Select(property => tombstoner.ProduceAsync(
    "yourTopicName",
    new Message<int, Null> {
        Key = 100,
        Value = null,
        Timestamp = Timestamp.Default
    }
));

Однако обратите внимание, что в настоящее время невозможно использовать записи надгробий с помощью клиента confluent-kafka-dotnet.

...