Apache Распределенная производительность NiFi - PullRequest
0 голосов
/ 06 августа 2020

У меня есть файл размером примерно 40 ГБ, мой кластер nifi работает на одном узле, и его распаковка занимает около 60 минут. Если у меня есть этот процессор на 2 или 3 узлах, распределяет ли процессор свою работу на время распаковки с go до 30, 25 минут? Заранее спасибо

1 Ответ

2 голосов
/ 06 августа 2020

Если файл представляет собой единый сжатый набор данных, вы не сможете распределить его по нескольким узлам, поскольку распаковка не может происходить параллельно. Если это файл, который содержит несколько независимо сжатых частей данных, которые просто объединяются вместе, то да, вы можете разделить данные на составляющие части и распределить их по нескольким узлам для параллельной распаковки.

...