Почему Apache Flink нужно много оперативной памяти - PullRequest
0 голосов
/ 29 апреля 2020

Я планирую использовать Apache Flink для обработки некоторых потоковых данных в моем проекте.

Однако мне сказали, что Flink может потребоваться много оперативной памяти от друга. Кроме того, я нашел что-то, что говорило мне то же самое: https://www.quora.com/What-is-the-difference-between-Apache-Flink-and-Apache-Spark

На данный момент я мало что узнал о Flink, мне просто удалось установить его и запустить Пример подсчета слов.

Так что мне интересно, зачем Флинку нужно много оперативной памяти. В чем основная причина? Какой-то недостаток самого Флинка? Или сохранение исторических данных? или что-нибудь еще?

Могу ли я использовать что-то вроде Redis, чтобы избежать этой проблемы?

1 Ответ

0 голосов
/ 30 апреля 2020

Этот ответ на Quora довольно старый, и в нем отсутствует конкретика.

Все зависит от того, что вы подразумеваете под «большим количеством памяти». Я видел, как Flink работает на кластере Raspberry PI - см. https://hal.inria.fr/hal-02463206/document. Для другого взгляда на это см. Также Расширение Flink для граничных вычислений с гораздо меньшими потребностями .

Конфигурация «из коробки» разработана для довольно хорошей работы с широким набором случаи использования. Так что есть место для оптимизации, если вам нужно выжать Flink из среды с более ограниченными ресурсами.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...