Как исправить org.apache.kafka.common.config.ConfigException: отсутствует требуемая конфигурация «group.id», которая не имеет значения по умолчанию

Question

У меня есть настройка темы Kafka, и я пытаюсь создать внешнюю таблицу в Hive для запроса потока Kafka.

Однако при запросе внешней таблицы я получаю сообщение об ошибке

Error: java.io.IOException: org.apache.kafka.common.config.ConfigException: Missing required configuration "group.id" which has no default value. (state=,code=0)

Попытка ввода group.id в server.properties при запуске сервера Kafka.

Попытка ввода group.id в свойствах внешней таблицы.

CREATE EXTERNAL TABLE kafka_table2
  (`timestamp` timestamp , `page` string,  `newPage` boolean,
  added int, deleted bigint, delta double)
  STORED BY 'org.apache.hadoop.hive.kafka.KafkaStorageHandler'
  TBLPROPERTIES
  ("kafka.topic" = "connect-test", "kafka.bootstrap.servers"="mykafka:9092","kafka.group.id"="1")


INFO  : Completed compiling command(queryId=hive_20190426082255_729f8adb-bb23-4317-8f3f-2f9049b62bd7); Time taken: 0.6 seconds
INFO  : Executing command(queryId=hive_20190426082255_729f8adb-bb23-4317-8f3f-2f9049b62bd7): select * from kafka_table2
INFO  : Completed executing command(queryId=hive_20190426082255_729f8adb-bb23-4317-8f3f-2f9049b62bd7); Time taken: 0.018 seconds
INFO  : OK
Error: java.io.IOException: org.apache.kafka.common.config.ConfigException: Missing required configuration "group.id" which has no default value. (state=,code=0)

Answer 1

Вы должны поставить "kafka. consumer .group.id" = "1", а не "kafka.group.id" = "1" в TBLPROPERTIES.

См .: https://docs.hortonworks.com/HDPDocuments/HDP3/HDP-3.1.0/integrating-hive/content/hive_set_consumer_producer.html