Кафка и IIDR CDC - PullRequest
       134

Кафка и IIDR CDC

0 голосов
/ 18 ноября 2018

Я пытаюсь построить конвейер CDC, используя: DB2 - IBM CDC --Kafka и я пытаюсь найти правильный способ настроить это. Я попробовал ниже вещи -

1.Настройка 3-х узлового кластера kafka на linux на prem

2.Установлено программное обеспечение IIDR CDC в linux on prem с использованием файла - setup-iidr-11.4.0.1-5085-linux-x86.bin. Экземпляр CDC запущен и работает.

В различной онлайн-документации предлагается установить «консоль управления IIDR» для настройки хранилища данных источника и конфигурации сервера CDC, а также настройки подписки Kafka для построения конвейера.

В настоящее время у меня не установлена ​​консоль управления. Несколько вопросов по этому вопросу -

1. Есть ли альтернатива консоли управления IBM CDC для настройки конвейера kafka-CDC?

2.Как я могу получить консоль управления IIDR? и если мы установим его на наш локальный Windows dekstop и попытаемся подключиться к CDC / Kafka, которые находятся на удаленных серверах Linux, это будет работать?

3. Есть ли другой способ настроить CDC IIDR приема данных на Kafka?

Я довольно новичок в CDC / IIDR, пожалуйста, помогите!

1 Ответ

0 голосов
/ 20 ноября 2018

Мне принадлежит разработка цели IIDR Kafka для нашего продукта CDC Replication.

Консоль управления - это лучший способ изначально настроить подписку.Вы можете установить его на Windows.

Технически я считаю, что вы можете использовать наш язык сценариев CHCCLP для настройки подписки.Но я рекомендую использовать графический интерфейс.

Вот ссылки на наши ресурсы по нашей цели IIDR (CDC) Kafka.Найдите раздел "Кафка".

"https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/W8d78486eafb9_4a06_a482_7e7962f5ac59/page/IIDR%20Wiki"

Примером настройки подписки и репликации является это видео

https://ibm.box.com/s/ur8jokg6tclsx5fcav5g86a3n57mqtd5

Консоль управления и сервер доступа можно получить в IBM fix central.

Я установил сервер MC / Access на свою виртуальную машину и на свой персональный компьютер с Windows, чтобы использовать его на моих виртуальных машинах Linux. Разумеется, вам понадобится подключение.

Вы, безусловно, можете связаться с нашей службой поддержки, и они смогут разобраться с вами. Плюс у нас есть документы в нашем центре знаний по MC, начинающиеся здесь ... https://www.ibm.com/support/knowledgecenter/en/SSTRGZ_11.4.0/com.ibm.cdcdoc.mcadminguide.doc/concepts/overview_of_cdc.html

Вы обнаружите, что наша цель Kafka очень гибкая, она поставляется с пятью различными форматами для записи данных в Kafka, и вы можете выбрать захват данных в формате аудита или с помощью ключа, совместимого с уплотнением Kafka, равным нулю для метода удаления.

Кроме того, вы даже можете использовать продукт для записи нескольких записей в несколько различных тем в нескольких форматах с помощью одной операции вставки. Это полезно, если некоторые из ваших минусовumer приложения хотят JSON и другие двоичные файлы Avro.Кроме того, вы можете использовать это, чтобы поместить все данные в более безопасные темы и записать только некоторые данные в темы, к которым у большего числа людей есть доступ.

У нас даже есть клиенты, которые шифруют столбцы в процессе репликации.

Наконец, преобразования продукта можно распараллелить, даже если вы решите использовать только одного производителя для записи данных.

На самом деле еще один, наконец, мы дополнительно предоставляем возможность использовать специального потребителя, который производитсемантика ACID базы данных для данных, записанных в Kafka и разбитых по темам и разделам.Это переупорядочивает это.мы называем это транзакционно последовательным потребителем.Он обеспечивает порядок операций, закладки для перезапуска приложений и допускает параллелизм в производительности, но упорядочивает, точно один раз, дедуплицированное потребление данных.

Из моего выступления на саммите в Кафке ...

https://www.confluent.io/kafka-summit-sf18/a-solution-for-leveraging-kafka-to-provide-end-to-end-acid-transactions

...