Тема не найдена. Слитый регистр схемы kafka. error_code ": 40401," message - PullRequest
Новая
       75

Тема не найдена. Слитый регистр схемы kafka. error_code ": 40401," message

0 голосов
/ 24 февраля 2020

Я использую образ реестра конфлюентной схемы Kafka docker образ, когда я тестирую его локально (с установленной локально kafka, это работает как положено, но когда я пытаюсь использовать его с удаленным кластером Kafka, я получаю ошибку:

{"error_code":40401,"message":"Subject not found. io.confluent.rest.exceptions.RestNotFoundException: Subject not found.\nio.confluent.rest.exceptions.RestNotFoundException: Subject not found.\n\tat io.confluent.kafka.schemaregistry.rest.exceptions.Errors.subjectNotFoundException(Errors.java:51)\n\tat io.confluent.kafka.schemaregistry.rest.resources.SubjectVersionsResource.listVersions(SubjectVersionsResource.java:157)\n\tat sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)\n\tat sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)\n\tat sun.reflect.DelegatingMethodAccessorImpl.invoke(Delegat ingMethodAccessorImpl. java: 43) \ n \ tat java.lang.reflect.Method.invoke(Method.java:498)\n\tat

ниже приведена команда, которую я использую для запуска docker

docker run  --network host -p 8081:8081        -e  SCHEMA_REGISTRY_KAFKASTORE_BOOTSTRAP_SERVERS=first_broker:9092,second_broker:9092,third_broker:9092    -e SCHEMA_REGISTRY_HOST_NAME=0.0.0.0     -e SCHEMA_REGISTRY_LISTENERS=http://0.0.0.0:8081     -e SCHEMA_REGISTRY_DEBUG=true confluentinc/cp-schema-registry:latest

Стек ошибок, который я получил: 

    Producer clientId=producer-1] Updated cluster metadata updateVersion 2 to MetadataCache{cluster=Cluster(id = dIU-fffyfHXRDeVgZA4fud_eBw, nodes = [first_broker:9092 (id: 2 rack: subnret-0ecf514e9ghg94d5197a7), second_broker:9092 (id: 1 rack: subrnet-0befbedzd392e5497137), third_broker:9092 (id: 3 rack: subnret-0rrc00cc1dbd14c0350)], partitions = [Partition(topic = topics, partition = 0, leader = 1, replicas = [1,3,2], isr = [1,3,2], offlineReplicas = [])], controller = first_broker:9092 (id: 3 rack: subnret-0c0rr0cc1dbd14c0350))}
Sending POST with input {"schema":"\"string\""} to http://0.0.0.0:8081/subjects/topicName-value/versions
org.apache.kafka.common.errors.SerializationException: Error serializing Avro message
Caused by: java.net.SocketException: Unexpected end of file from server
    at sun.net.www.http.HttpClient.parseHTTPHeader(HttpClient.java:851)
    at sun.net.www.http.HttpClient.parseHTTP(HttpClient.java:678)
    at sun.net.www.http.HttpClient.parseHTTPHeader(HttpClient.java:8

Я заметил, что в удаленном кластере Kafka я создал _schemas topi c, но когда я использую консоль потребителя для чтения данных из этой топи c _shemas, я получил следующие результаты: 

{"keytype":"NOOP","magic":0}-null
{"keytype":"NOOP","magic":0}-null
{"keytype":"NOOP","magic":0}-null
{"keytype":"NOOP","magic":0}-null
{"keytype":"NOOP","magic":0}-null
{"keytype":"NOOP","magic":0}-null
{"keytype":"NOOP","magic":0}-null
{"keytype":"NOOP","magic":0}-null
{"keytype":"NOOP","magic":0}-null
{"keytype":"NOOP","magic":0}-null
{"keytype":"NOOP","magic":0}-null
{"keytype":"NOOP","magic":0}-null
{"keytype":"NOOP","magic":0}-null

Любая идея, как это исправить.

1 Ответ

0 голосов
/ 25 февраля 2020

SCHEMA_REGISTRY_HOST_NAME должно быть разрешаемым именем хоста, а не 0.0.0.0

Аналогично, не используйте http://0.0.0.0:8081 в коде вашего производителя.

Слушатели являются адресом привязки, но их также можно не указывать, если вы перенаправили порт и удалили --network host

Вы можете игнорировать NOOP сообщения из реестра (при запуске он выплевывает два сообщения, чтобы найти самый конец топи c)

...