Ceph BucketNotifications не высылает sh сообщений Кафке - PullRequest
Новая
       83

Ceph BucketNotifications не высылает sh сообщений Кафке

3 голосов
/ 05 марта 2020

У меня есть тестовый кластер ceph с тремя узлами с radosgw, установленными на первом узле. ceph версия 14.2.6 (f0aa067ac7a02ee46ea48aa26c6e298b5ea272e9) nautilus (стабильный) 

# cat /etc/ceph/ceph.conf
[global]
fsid = a204e3b5-b0e1-4598-aadc-f46011b562f0

mon_initial_members = ceph-test-01, ceph-test-02, ceph-test-03
mon_host = 172.19.19.252,172.19.19.251,172.19.19.244

auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

public network = 172.19.19.0/24

rgw_frontends = beast port=80

и Apache брокер Кафки для получения сообщений.

Я создал topi c согласно официальным документам CEPH:

(https://docs.ceph.com/docs/master/radosgw/notifications/). 

POST http://ceph-test-01/?Action=CreateTopic&Name=bucketnotifications&push-endpoint=kafka://kafka-test-01:9092 with S3 credentials
Response:
<CreateTopicResponse xmlns="https://sns.amazonaws.com/doc/2010-03-31/">
    <CreateTopicResult>
        <TopicArn>arn:aws:sns:us::bucketnotifications</TopicArn>
    </CreateTopicResult>
    <ResponseMetadata>
        <RequestId>14804357-9c29-437d-9789-c127e1c13d23.44108.275</RequestId>
    </ResponseMetadata>
</CreateTopicResponse>

Я создал корзину с именем new-bucket и проверил его конфигурацию: 

GET http://ceph-test-01/new-bucket?notification
Response:
<NotificationConfiguration>
    <TopicConfiguration>
        <Id>bucketnotifications</Id>
        <Topic>arn:aws:sns:us::bucketnotifications</Topic>
        <Event>s3:ObjectCreated:*</Event>
        <Event>s3:ObjectRemoved:*</Event>
    </TopicConfiguration>
</NotificationConfiguration>

Когда я добавляю или удаляю файлы в корзину, ceph не выводит sh уведомления на Apache Kafka topi c. Radosgw logs (режим отладки включен) содержит следующие строки: 

2020-03-04 10:58:00.533 7f29a8da3700 20 notification: 'bucketnotifications' on topic: 'bucketnotifications' and bucket: 'new-bucket' (unique topic: 'bucketnotifications') apply to event of type: 's3:ObjectCreated:Put'
2020-03-04 10:58:00.533 7f29a8da3700  1 ERROR: failed to create push endpoint: kafka://kafka-test-01:9092 due to: pubsub endpoint configuration error: unknown schema in: kafka://kafka-test-01:9092
2020-03-04 10:58:00.533 7f29a8da3700  5 req 188 0.248s s3:put_obj WARNING: publishing notification failed, with error: -22

Но Apache Kafka не создал новых тем.

1 Ответ

0 голосов
/ 25 марта 2020

Кажется, есть ошибка в выпусках nautilus, которую не проверяет схема kafka. Вы можете выполнить обновление до версии 15.2.0, поддерживающей эту схему, или дождаться обновления исправления ошибки на nautilus.

...