Что такое раздел в eventhub? - PullRequest
0 голосов
/ 24 мая 2019

У меня есть следующий код для чтения сообщений из eventhub. Но, похоже, я не получаю все сообщения. Количество разделов равно 4, но я просто использую 1 ридер.

Правильно ли раздел 0? или мне нужно добавить 4 приемника для каждой партии?

#!/usr/bin/python3
import os
import sys
import logging
import time
from azure.eventhub import EventHubClient, Receiver, Offset

logger = logging.getLogger("azure")

ADDRESS = "amqps://xxxxx.servicebus.windows.net/insights-operational-logs"

CONSUMER_GROUP = "myConsumerGrp"
OFFSET = Offset("-1")
PARTITION = "0"

total = 0
last_sn = -1
last_offset = "-1"

client = EventHubClient(ADDRESS, debug=False, username="xxxx", password="xxxx")
try:
    receiver = client.add_receiver(CONSUMER_GROUP, PARTITION, prefetch=5000, offset=OFFSET)
    client.run()
    start_time = time.time()
    for event_data in receiver.receive(timeout=100):
        last_offset = event_data.offset
        last_sn = event_data.sequence_number
        print("Received: offset {}, sn {}, (BODY LEN: {})".format(last_offset.value, last_sn, len(event_data.body_as_str())))
        print("    Body: {}".format(event_data.body_as_str()))
        print("")
        total += 1

    end_time = time.time()
    client.stop()
    run_time = end_time - start_time
    print("Received {} messages in {} seconds".format(total, run_time))

except KeyboardInterrupt:
    pass
finally:
    client.stop()

1 Ответ

1 голос
/ 24 мая 2019

Разделение - это способ, которым Event Hub может распределять нагрузку. Таким образом, если вы подготовили концентратор событий с 4 разделами, поведение по умолчанию таково, что отправляемые ему сообщения распределяются по выделенным разделам.

Для обработки всех сообщений вам нужно будет использовать 4 устройства чтения или регулярно читать одно (или более) из другого раздела.

Больше информации можно найти в документах

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...