Как выполнить банку JDBC Kafka Connector - PullRequest
Новая
       6

Как выполнить банку JDBC Kafka Connector

0 голосов
/ 10 мая 2018

Я клонировал https://github.com/confluentinc/kafka-connect-jdbc,, но у меня проблемы с пониманием, как это выполнить.

1 Ответ

0 голосов
/ 10 мая 2018

kafka-connect-jdbc - это Kafka Connector для загрузки данных в любую из JDBC-совместимых баз данных. Документацию по этому разъему можно найти здесь .

Минимальный пример для JDBC Source Connector (из sqlite db)

Загрузка Слияние и запуск сервисов с использованием confluent start

Создание базы данных sqlite 

sqlite3 test.db

Создайте таблицу и добавьте несколько строк: 

CREATE TABLE users(id INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL, username VARCHAR(255));
INSERT INTO users(username) VALUES('giorgos');

Загрузите разъем источника JDBC: 

confluent load jdbc-source

(Ваш вывод должен напоминать :) 

{
  "name": "jdbc-source",
  "config": {
    "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
    "tasks.max": "1",
    "connection.url": "jdbc:sqlite:test.db",
    "mode": "incrementing",
    "incrementing.column.name": "id",
    "topic.prefix": "test-sqlite-jdbc-",
    "name": "jdbc-source"
  },
  "tasks": [],
  "type": null
}

Запустите консольный потребитель, чтобы использовать данные, полученные в теме test-sqlite-jdbc-users: 

./bin/kafka-avro-console-consumer --bootstrap-server localhost:9092 --topic test-sqlite-jdbc-users --from-beginning
{"id":1,"name":{"string":"giorgos"}}
...