Как использовать события, доставленные Gure Event Grid в GCP

Question

В основном, что я понял из нескольких Azure тем, как показано ниже:
1) Azure Event Hub - где данные принимаются изначально и преобразуются в события
2) Service Bus - выступают в качестве очереди
3) Azure Event Grid - куда передаются события, конвертированные в хаб.

, поэтому соединение выглядит так:

Hub -> Service Bus -> Event Grid -> Pub Sub -> Storage

Я понял эту концепцию.Моя проблема в том, что я хочу, чтобы данные передавались из сетки событий в GCP (подписка / темы).Итак, как я могу установить это, используя PUSH метод ??
Что мне нужно разработать точно.Как я могу оттолкнуть вещи от grid to pubsub/subscriptions.Я нашел эту ссылку, где данные публикуются в Event Grid but I want to push data from the event grid to gcp.Может кто-нибудь объяснить мне, где я иду не так или с чего именно мне начать.Я новичок в этом, и это очень сбивает с толку, поэтому мне просто нужно немного руководства здесь.

У меня есть следующие сомнения:
1) Есть ли какая-либо опция прямого подписчика, доступная со слушателем сетки событий?Я имею в виду, могу ли я напрямую связать свою учетную запись Google Storage с этим прослушивателем, чтобы при возникновении события оно было напрямую передано на мою учетную запись GCP (у меня сейчас нет учетной записи Azure, так как проблема доступа в процессе, поэтому яне могу видеть, поэтому я спрашиваю здесь)
2) Предположим, у меня есть 20 columns в моих данных, но я хочу, чтобы в GCP было выдвинуто только 16 columns, поэтому возможны ли какие-либо настройки при отправке данных из event grid/event hub to pub/sub
3) Если я напишу код пользовательских коннекторов по ссылкам, приведенным в ответах ниже, то как мне его запустить?Я имею в виду, где я могу развернуть эти сценарии в облаке, чтобы они запускались автоматически при каждом событии.
4) Могу ли я реализовать веб-зацепки в этом сценарии ??(как альтернатива разъемам).Если да, то как я могу это сделать и с какой стороны мне нужно его создать?
5) Кроме того, я прочитал несколько статей и узнал от нескольких парней, что они потеряли данные во всем этом процессе.Итак, какова возможность здесь и как этого можно избежать

Answer 1

Простейшим способом передачи событий, сгенерированных EventHub, вероятно, было бы создание приемника событий EventHub в Node.js (который вы упомянули в ваших комментариях), как описано здесь , который получает события и публикует их в Cloud Pub / Sub напрямую, как описано в документации издателя Cloud Pub / Sub для Node.js .

Answer 2

Может кто-нибудь объяснить мне, где я иду не так или с чего именно мне начать.

Это прямо здесь:

так что соединение похожениже:
Hub -> Service Bus -> Event Grid -> Pub Sub -> Storage

Хотя это может иметь место, это звучит очень похоже на один (очень) конкретный сценарий, в котором потоки данныхименно таким образом.

Концентратор событий Azure, служебная шина Azure и сетка событий Azure могут работать вместе, но также могут использоваться полностью отдельно друг от друга.

Сетка событий
Цель Сетки событий - включить Реактивное программирование .Используйте это, если хотите реагировать на изменения (статуса).

Концентраторы событий
Концентраторы событий упрощают конвейер больших данных .Используйте это, когда вам нужна телеметрия и распределенная потоковая передача данных.

Сервисная шина
Цель Сервисной шины состоит в том, чтобы включить Высококачественный обмен корпоративными сообщениями .Используйте это, когда вы хотите сделать что-то вроде обработки заказов и финансовых транзакций.

В некоторых случаях вы используете службы бок о бок для выполнения различных ролей.Например, сайт электронной коммерции может использовать служебную шину для обработки заказа, концентраторы событий для захвата телеметрии сайта и сетку событий, чтобы реагировать на события, подобные отправленным элементам.

В других случаях вы связываете их вместе ссформировать событие и конвейер данных.Сетка событий используется для ответа на события в других службах.Пример использования сетки событий с концентраторами событий для переноса данных в хранилище данных см. В разделе «Поток больших данных в хранилище данных».

Из очень интересной и важной документации Выбор между службами обмена сообщениями Azure - Сетка событий, Концентраторы событий и Шина обслуживания

РЕДАКТИРОВАТЬ

Моя проблема в том, что я хочу, чтобы данные передавались из сетки событий в GCP (подписка / темы).Итак, как я могу установить это, используя PUSH метод ??

Возможно, самое простое решение - это вызвать событие Event Grid Event через веб-крючок (который может запустить функцию Azure или Google Cloud Function ), которая в свою очередь помещает событие / сообщение в тему GCP.

Публикация сообщений довольно хорошо документирована.Есть примеры того, как это сделать с помощью вызова REST, командной строки, C #, Go, JAVA, NodeJS, PHP, Python и Ruby.

РЕДАКТИРОВАТЬ 2
Вам нужно создать подписку на сетку событий для прослушивания и обработки событий сетки событий.
Вот пример снимка экранао том, как прослушивать события для конкретной учетной записи хранения и вызывать WebHook при возникновении такого события:

Обратите внимание на «Сведения о конечной точке»: вот гдевы можете указать, например, вызывать webhook каждый раз, когда происходит событие.