Я проверил несколько других вопросов об объединении файлов в памяти с помощью устройства отображения, плавкого предохранителя и т. Д., Но я не вижу, чтобы они решали мою конкретную проблему. (Поправьте меня если я ошибаюсь)
Мне часто приходится анализировать файлы журналов, которые представляют собой текстовые файлы или архивы (gz, tar.gz, zip, ...) с общим объемом памяти менее 1 ГБ.
Я хочу создать из них виртуальный файл и использовать его в стандартных командах * nix (grep, less, ...), а также в моих собственных инструментах (bash, python, c ++) для анализа.
ЧИТАЙТЕ ДОСТУП ТОЛЬКО. Мне не нужно менять файлы!
Желаемые функции
1) Сопоставить список файлов (разных типов) с одним виртуальным файлом в памяти, чтобы я мог использовать инструменты cmdline или текстовые редакторы для просмотра полных данных, не замечая границ файлов. (без ": n" меньше или что-то в этом роде)
2) Ограничить максимальный размер виртуального файла, поскольку в целевой системе у меня может не хватить памяти для сопоставления всего.
3) Пусть виртуальный файл действует как скользящее окно в списке отображаемых файлов на диске. В основном это кэш размером x в памяти, который при необходимости перезагружает данные с диска. Это возможно даже при использовании стандартных инструментов или они всегда загружают весь файл? В этом случае мне нужно было бы запустить свой собственный редактор, который мог бы сам выполнять перезагрузку / отображение и мог бы упростить эти вещи.
4) Если автоматическая перезагрузка не работает для стандартных инструментов, есть ли способ сделать это вручную? Как редактирование потока и перемотка данных в кэш размером x mb? И всякий раз, когда я доходил до конца, я вручную изменял отображение и сдвигал окно вперед или назад.
заранее спасибо