Чтобы использовать CDK 4.0 (дистрибутив Cloudera от Kafka) с Cloudera 5.13, я был вынужден установить CDK 4.0 в качестве пакета.
У меня была виртуальная док-станция Cloudera Quickstart, которую я скачал. Он работает без аутентификации Kerberos. После запуска виртуальной машины быстрого запуска я отдельно установил быстрый старт Kafka с веб-сайта Apache kafka. Это было необходимо, поскольку кафка, упакованная в cloudera, была более старой версией. Поскольку это была среда, отличная от Kerberos, сервер Kafka при запуске начал использовать zookeeper, который работал в ВМ с быстрым запуском. Таким образом я добился соединения Кафки с клодером ВМ.
Если вы новичок в CDH / CM, тогда я предлагаю вам сначала попробовать и использовать службу Kafka, которая входит в состав Cloudera. Перейдите в «Добавить сервис» в раскрывающемся списке Cloudera и выберите kafka. Включение этого сервиса Kafka даст вам набор брокеров для запуска kafka. Также Кафке нужен Zookeeper для запуска. Zookeeper поставляется по умолчанию в Cloudera. Таким образом, вы получите рабочий кластер с включенной в него kafka. Вы можете подумать о переходе на последнюю версию Kafka (используя упомянутый выше подход), когда освоитесь со встроенными инструментами CDH / CM.