Flink: что значит вставлять flink в другие программы? - PullRequest
0 голосов
/ 20 марта 2020

Что означает вставлять flink в другие программы?
В ссылке здесь - https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/api_concepts.html#basic -api-concepts во втором абзаце говорится, что flink может быть встроен в другие программы.

Я хотел бы узнать больше об этом. Нравится, как этого добиться. Пример программы был бы очень полезен. Используя вышесказанное, можно ли достичь следующего?

  1. Можем ли мы запускать программы flink как отдельные субъекты?
  2. Можно ли направлять данные между двумя программами flink?

Причина: я задаю два вышеупомянутых вопроса, потому что мое требование следующее:
У меня есть некоторый набор заданий / программ Flink на основе файла конфигурации. Я хочу, чтобы только определенные задания / программы Flink обрабатывали входные данные, и это продолжает меняться в зависимости от файла конфигурации. Поэтому необходимо, чтобы задания Flink ./programs (или код в этих заданиях) были всегда доступны, и им необходимо передавать данные и общаться.

Пожалуйста, поделитесь своими мыслями.

1 Ответ

0 голосов
/ 20 марта 2020

Запуск Flink, встроенный в другие программы, относится к режиму локального выполнения Flink . Локальный режим выполнения запускает программу Flink в вашей JVM. Это влечет за собой то, что задание не будет выполняться распределенно.

То, что в настоящее время невозможно из коробки, - это позволить заданиям Flink управлять другими заданиями Flink. Тем не менее, можно создать приложение Flink, которое принимает в качестве входных данных задания и выполняет их. RBEA является примером такого приложения Flink. Концептуальное отличие состоит в том, что у вас нет нескольких заданий Flink, но есть одно, которое обрабатывает программы как входные записи.

В качестве альтернативы вы можете взглянуть на Stateful functions , который является виртуальным актерский каркас, построенный поверх Apache Flink. Идея состоит в том, чтобы обеспечить основу для создания распределенных приложений с отслеживанием состояния с надежными гарантиями согласованности. С помощью функций с сохранением состояния вы также создадите одно приложение Flink, которое обрабатывает события, которые могут представлять форму вычислений.

...