Как вызвать API отдыха внутри программы Apache Flink - PullRequest
Новая
       4

Как вызвать API отдыха внутри программы Apache Flink

0 голосов
/ 03 февраля 2020

Мне интересно, есть ли решение для вызова

  1. REST API (или нескольких REST API) внутри программы flink напрямую или нет? если такое решение существует.
  2. Как вы думаете, лучше ли обрабатывать sh мои обработанные данные от flink до брокера сообщений, такого как kafka или что-то сначала, а затем из kafka API REST для вызова?
  3. или я также могу вызывать API REST непосредственно из моей программы flink?

1 Ответ

1 голос
/ 03 февраля 2020

Код в ваших пользовательских функциях (например, RichFlatMapFunction или KeyedProcessFunction) может делать все, что вы захотите, в том числе делать вызовы REST для внешних служб. Однако вам следует избегать блокирования ввода-вывода в пользовательских функциях, поскольку барьеры контрольных точек не могут проходить через оператора, пока он заблокирован в пользовательской функции.

В таком случае хорошим способом решения этой проблемы является использование Asyn c API ввода-вывода Flink's в сочетании с HTTP-библиотекой, предлагающей асинхронный клиентский интерфейс.

...