Как включить безопасность в кластере Kafka без простоев

Question

Мы производим кластер Kafka без какой-либо защиты. Мы планируем включить безопасность (SASL / OAUTHBEARER) на стороне брокера. Но, похоже, как только мы включим безопасность на стороне брокера, все незащищенные клиенты будут немедленно удалены. Для плавного перехода от небезопасного кластера к безопасному, без простоев, мы хотим, чтобы клиенты Kafka сначала включили безопасность. И как только все наши клиенты мигрируют, мы можем включить безопасность на уровне брокера. Однако я не могу найти способ, чтобы защищенные клиенты могли общаться с небезопасным брокером. Кто-нибудь делал это? Есть идеи по плавному переходу на безопасность на производстве?

Answer 1

Установка следующего свойства в server.properites позволит небезопасным клиентам подключаться к порту 9097 и защищенным клиентам подключаться к порту 9096.

listeners=SASL_PLAINTEXT://:9096,PLAINTEXT://:9097

Answer 2

В Kafka 2.0 допускаются следующие комбинации протоколов:

+------------------+-------+-----------+
|                  |  SSL  |  Kerberos |
+------------------+-------+-----------+
| PLAINTEXT        |  No   |    No     |
| SSL              |  Yes  |    No     |
| SASL_PLAINTEXT   |  No   |    Yes    |
| SASL_SSL         |  Yes  |    Yes    |
+------------------+-------+-----------+

Эти комбинации применимы как для брокера к брокеру, так и для брокера клиенту, но здесь конфигурация ключа security.inter.broker.protocol, что не должно быть одинаковым для брокера к брокеру и брокера к клиенту. Это означает, что мы можем включить защиту в кластере Kafka без каких-либо простоев.

---

Включение Kerberos

• Шаг 1: Отключить защиту для брокера к брокеру

security.inter.broker.protocol=PLAINTEXT

• Шаг 2: Включить Kerberos для брокера к клиенту в server.properties
• Шаг 3: Выполните повторный перезапуск
• Шаг 4: Включение Kerberos для посредника

security.inter.broker.protocol=SASL_PLAINTEXT

---

Включение SSL

• Шаг 1: Отключить защиту для брокера к брокеру

security.inter.broker.protocol=PLAINTEXT

• Шаг 2: Включить SSL для брокера-клиента в server.properties
• Шаг 3: Выполнить повторный запуск
• Шаг 4: Включить SSL для брокера к брокеру

security.inter.broker.protocol=SSL