Пакетная обработка событий из MS Azure EventHub в Голанге - PullRequest
0 голосов
/ 02 января 2019

Я прочитал несколько документов о том, как обрабатывать события в golang из AZURE eventhub, но это все один за другим, и я нигде не смог найти пакетную обработку событий.Это кажется бесполезным для операций ETL.Кто-нибудь знает, как пакетно обрабатывать события с библиотекой Golang?

Потому что в настоящее время я посмотрел на https://github.com/Azure/azure-event-hubs-go/blob/master/_examples/helloworld/consumer/main.go, но обработчик - это функция, которая принимает одно событие в качестве параметра.Более эффективным было бы, если бы был какой-то обработчик, который может принимать пакет событий.Потому что, если бы я захотел выполнить некоторые транзакции базы данных на основе событий, мне пришлось бы сделать одну транзакцию на событие.Я также не могу просто отправить его в какую-нибудь другую программу, потому что если я делаю транзакцию в базе данных на основе обработанных событий, я должен убедиться, что контрольная точка установлена ​​после пакета.Так же, как при работе с кинесисом AWS в лямбде AWS.

1 Ответ

0 голосов
/ 06 января 2019

Я думаю, вопрос недействителен. Поскольку я могу хранить контрольные точки везде, где захочу (не только после обработки пакета, но и после обработки нескольких пакетов). Я могу свободно использовать этот API-интерфейс один за другим и пересылать события на какой-либо пользовательский пакетный процессор. Все события содержат смещение, поэтому я могу сохранить контрольную точку в любое время в пользовательском пакетном процессоре.

PS: в связанных примерах Azure упоминается пакетная обработка, но на самом деле это пакетная запись, а не пакетное чтение.

...