Как улучшить обработку данных через файл журнала - PullRequest
0 голосов
/ 09 октября 2019

У меня есть некоторая обработка данных для запуска через файл журнала, например, строки с меткой времени. И это занимает 1 секунду, чтобы обработать данные 1 МБ. Что мы можем сделать, чтобы выполнить эту обработку файла данных объемом 1 ТБ за 10 секунд?

1 Ответ

0 голосов
/ 09 октября 2019

Вы можете распараллеливать, используя потоки, и обрабатывать разные части файла журнала одновременно.

Предполагается, что обработка журналов распараллеливается и не требует последовательного чтения журналов. Также предполагается, что у вас достаточно быстрый жесткий диск (некоторые жесткие диски с вращающимся диском не читают 100 МБ / с, что требуется для 1 ТБ / 10 с).

...