Как использовать потоковый сервер NATS с Apache flink? - PullRequest
1 голос
/ 29 марта 2020

Я хочу использовать потоковый сервер NAT для потоковой передачи данных, а с помощью Flink хочу обрабатывать данные.

как использовать apache flink для обработки потоковых данных в реальном времени с потоковым сервером NATS?

1 Ответ

1 голос
/ 30 марта 2020

Вам нужно будет либо найти или разработать соединитель Flink / NATS, либо зеркально отобразить данные в какой-либо другой потоковой службе хранения, которая уже имеет поддержку Flink. Нет соединителя NATS среди соединителей, которые являются частью Flink , или Apache Bahir , или в наборе пакетов сообщества Flink . Но если вы будете искать вокруг, вы найдете несколько соответствующих проектов на github, et c.

. При оценке реализации коннектора, помимо обычных соображений, учитывайте следующие факторы:

  • предоставляет ли он интерфейсы как для потребителя, так и для производителя?
  • делает ли он контрольные точки?
  • какие гарантии обработки он предоставляет? (хотя бы один раз, ровно один раз)
  • насколько хороша обработка ошибок? * Производительность 1018 *
  • : например, как-то выполняется пакетная запись?
  • как она обрабатывает сериализацию?
  • предоставляет ли он какие-либо метрики?

Если вы решили написать свой собственный соединитель, существуют существующие соединители для аналогичных систем, которые вы можете использовать в качестве эталона, например, Nifi, Pulsar, et c. И вы должны знать, что интерфейсы, используемые источниками данных, в настоящее время подвергаются рефакторингу под эгидой FLIP-27 .

...