Как публиковать сообщения в реальном времени на тему GCP pubsub из рабочего процесса NiFi

Question

Контекст:

У меня есть несколько приложений, которые публикуют сообщения в режиме реального времени в очередях Enterprise Kafka и Solace.Объем и скорость сообщений значительны.Эти сообщения используются модулями обработки сообщений и сохраняют их в реальном времени в хранилище данных, размещенном в помещении на данный момент.мы планируем переместить модули обработки сообщений и хранилище данных в реальном времени на GCP.

Постановка задачи:

Как модули обработки сообщений и данные в реальном времени.- магазин перемещается в GCP, поэтому необходимо публиковать / отправлять сообщения из « по темам помещения Kafka и очередям Solace в темы GCP Pubsub ».

Для этого я планировал написать рабочий процесс NiFi на локальном кластере NiFi.Было бы замечательно, если бы кто-нибудь поделился мыслями, если уже сделал подобную попытку?

Пожалуйста, сообщите, если требуется дополнительная информация.

Я не смог найти подобный вопрос, уже опубликованный здесь, если это любезно.

Заранее спасибо!

Answer 1

Я кратко работал с Kafka и GCP PubSub.Я мало работал с Solace, но, насколько я знаю, вам, возможно, придется немного изменить код на nifi-hms-bundle, чтобы настроить службу контроллера JMS для создания стандартной фабрики соединений JMS JNDI, после чего вы сможете использовать * NiFi *.Процессор 1002 * и PublishJMS для чтения / записи в очереди Solace.

В общем, ваш поток будет выглядеть так:

• У вас ConsumeKafka настроен на правильную тему и ConsumeJMS настроен на использование пользовательского JNDIConnectionFactoryProvider вместо встроенного JMSConnectionFactoryProvider.
• Подключите success выход обоих этих процессоров и соединить его с PublishGCPPubSub.

Я бы порекомендовал использовать основанные на записи ConsumeKafka процессоры.Выберите процессор математической версии Kafka API.

1 https://dev.solace.com/integration-guides/nifi/