Apache Подробная информация о производственном кластере Flink

Question

Я новичок в Flink. Как узнать, какие могут быть требования к производственному кластеру для flink. И как выбрать память заданий, память задач и слоты задач для каждого выполнения задания в режиме кластера пряжи. Например, мне приходится обрабатывать около 600-700 миллионов записей каждый день, используя поток данных, поскольку это данные в реальном времени.

Answer 1

На эти вопросы нет универсального ответа; это зависит. Это зависит от типа обработки, которую вы выполняете с этими событиями, от того, нужен ли вам доступ к внешним ресурсам / службам для их обработки, сколько состояния вам нужно сохранить, а также от шаблонов доступа и обновления для этого состояния, как часто вы увидите контрольную точку, какое состояние бэкенда вы выберете, et c, et c. Вам нужно будет провести несколько экспериментов и измерить.

См. Как определить размер Apache Flink® Cluster: Расчет на обратной стороне конверта для более подробного введение в этот топи c. https://www.youtube.com/watch?v=8l8dCKMMWkw также полезно.