Кассандра как источник данных / производитель в Кафке

Question

Как интегрировать cassandra как производителя данных в apache Kafka?

Какая-либо конкретная конфигурация в конфигурации kafka?

Answer 1

Для получения данных из внешних систем в Kafka рекомендуется использовать Kafka Connect.Kafka Connect - это инфраструктура, обеспечивающая масштабируемый и надежный способ потоковой передачи данных между Apache Kafka и другими системами данных.

Существует два основных типа разъемов Kafka: source и sink.Исходные соединители передают данные в Kafka из внешней системы.Соединители для передачи данных передают данные из Kafka во внешнюю систему.

Для передачи данных из Cassandra в Kafka вам нужно найти соединитель Cassandra Source.Наиболее популярным является разъем Cassandra Source, предоставленный Landoop, как часть объективов, который можно найти здесь .Вы будете использовать KCQL (не путать с KSQL), чтобы написать запрос коннектора для получения нужной информации из Cassandra.

Я бы порекомендовал взглянуть на этот пост в блоге, Начало работы с Kafka Connect Cassandra Source , чтобы все настроить.

Answer 2

Соединитель Cassandra Sink доступен в Confluent Hub , но соединитель Cassandra Source не предоставляется kafka. На данный момент соединитель Cassandra Source предоставляется landoop .

Однако Kafka также предоставляет возможность создания пользовательских соединителей.

Вам необходимо расширить класс соединителя SourceConnector и переопределить его методы.

public class CassandraSourceConnector extends SourceConnector {


    @Override
    public Class<? extends Task> getTaskClass() {
      return ImplementationClasName.class;
    }

    @Override
    public void start(Map<String, String> props) {
     // Properties
    }

    @Override
    public void stop() {
      // Nothing to do since no background monitoring is required
    }

Вы можете найтиполную информацию можно получить по адресу https://docs.confluent.io/current/connect/devguide.html

После создания класса соединителя источника Cassandra его также необходимо настроить, что можно сделать, например, Соединитель раковины Cassandra .

.Разъем Landoop Cassandra Source доступен только для kafka 1.0 и kafka 1.1.Я бы предложил вам создать свой собственный разъем.Вы также можете посетить этот блог для получения информации.

Надеюсь, это полезно для вас.