Мне нужно обработать очень большие файлы журналов (сотни гигабайт), и чтобы ускорить процесс, я хочу разделить эту обработку на все имеющиеся у меня ядра. Используя seekg и tellg, я могу оценить размеры блоков в относительно небольших файлах и расположить каждый поток в начале этих блоков, но когда они становятся большими, индексы переполняются.
Как разместить и индексировать очень большие файлы при использовании C ++ ifstreams и Linux?
С уважением.