Apache Флинк в Kubernetes - PullRequest
Новая
       123

Apache Флинк в Kubernetes

0 голосов
/ 10 июля 2020

Не мог бы кто-нибудь сообщить мне, как я могу настроить Flink на моей бессерверной платформе (FaaS) для выполнения операций, управляемых событиями?

Я посмотрел на функции Flink, и это кажется многообещающим. Может ли кто-нибудь уточнить нижеприведенное?

  1. Что мне нужно установить в моем окружении FaaS. запускать функцию мигания при возникновении события (изменения файлов в моем ведре s3)?

  2. У меня нет платформы больших данных, поэтому я планирую использовать flink в моем бессерверном / kubernetes env .

Заранее спасибо !!

1 Ответ

0 голосов
/ 20 июля 2020

Для использования StateFun вам обычно потребуется:

  1. Ingress, который будет запускать функции.
  2. Фактический код, который будет реагировать на ваши события (функция с отслеживанием состояния) Dockerized
  3. Способ обеда вашего приложения

В частности:

  1. Каждое приложение-функция с отслеживанием состояния запускается с Ingress, в основном это воронка событий на которые могут реагировать ваши функции. В вашем случае вы можете использовать Amazon Kinesis в качестве Ingress и убедиться, что ваши события S3 там останутся.

  2. Следующее, что вам понадобится , состоит в том, чтобы познакомиться с SDK функции с отслеживанием состояния, либо в Java, либо в Python, и написать logi c, который имеет дело с входящими событиями. Результатом этого этапа будет Docker изображение .

  3. Затем вам нужно обработать изображение, полученное в (2), и для этого вы можете использовать Kubernetes (необязательно). Для вашего удобства предусмотрены диаграммы управления и простая утилита для генерации необходимых ресурсов k8s.

...