Установите разъем Kafka вручную - PullRequest
Новая
       92

Установите разъем Kafka вручную

0 голосов
/ 01 мая 2020

Я пытаюсь установить источник твиттера и нашел следующие ссылки link1 и link2 . Первый показывает, как установить соединитель источника Twitter, а второй - как вручную установить соединитель (всегда Confluent Platform).

Однако я запутался во всей процедуре. Я следовал инструкциям в здесь , и пока все работает нормально. Однако, поскольку соединитель источника Twitter не находится в списке концентратора соединителей, его необходимо установить вручную. Согласно ссылке 1 я где-то клонирую репо git - Вопрос : где его клонировать? В docker -compose.yml есть куча сервисов. В частности, docker-compose ps после того, как я раскручиваю yaml, показывает 

       Name                    Command                  State                         Ports
  ------------------------------------------------------------------------------------------------------------

   broker            /etc/confluent/docker/run        Up             0.0.0.0:9092->9092/tcp
   connect           /etc/confluent/docker/run        Up             0.0.0.0:8083->8083/tcp, 9092/tcp
   control-center    /etc/confluent/docker/run        Up             0.0.0.0:9021->9021/tcp
   ksql-datagen      bash -c echo Waiting for K ...   Up
   ksqldb-cli        /bin/sh                          Up
   ksqldb-server     /etc/confluent/docker/run        Up (healthy)   0.0.0.0:8088->8088/tcp
   rest-proxy        /etc/confluent/docker/run        Up             0.0.0.0:8082->8082/tcp
   schema-registry   /etc/confluent/docker/run        Up             0.0.0.0:8081->8081/tcp
   zookeeper         /etc/confluent/docker/run        Up             0.0.0.0:2181->2181/tcp, 2888/tcp, 3888/tcp

Я не понимаю, к какому из вышеперечисленных я должен выполнить инструкции ссылки1. Это в зоопарке, брокере или в коннекте? Любая помощь приветствуется, пожалуйста, если у кого-то есть время, чтобы более подробно написать несколько слов о шагах в ссылке1, пожалуйста, не стесняйтесь. Приветствия

1 Ответ

1 голос
/ 01 мая 2020

Разъемы установлены в рабочих Kafka Connect. Они должны быть установлены до запуска работника.

Существует более новая версия этой статьи блога, здесь: https://www.confluent.io/blog/stream-processing-twitter-data-with-ksqldb. С этим связано новое демо, которое вы можете найти здесь: https://github.com/confluentinc/demo-scene/tree/master/ksqldb-twitter

В рамках демонстрации он устанавливает коннектор Twitter во время выполнения . Это делается путем переопределения команды по умолчанию для образа контейнера и вместо этого запускает установку соединителя перед запуском работника соединения: 

    command: 
      - bash 
      - -c 
      - |
        echo "Installing connector plugins"
        confluent-hub install --no-prompt jcustenborder/kafka-connect-twitter:0.3.33
        #
        echo "Launching Kafka Connect worker"
        /etc/confluent/docker/run & 
        #
        sleep infinity
...