Ускорить поиск строк в одном большом файле? - PullRequest
0 голосов
/ 11 июня 2018

У меня есть около 200 ГБ данных, которые я пытаюсь найти внутри различных строк (в основном с использованием регулярных выражений grep или python).Прямо сейчас, каждый раз, когда я придумываю новую строку, требуется много времени, чтобы собрать все эти файлы, чтобы увидеть, есть ли совпадения.Существуют ли какие-нибудь умные алгоритмы или утилиты linux, которые могли бы помочь индексировать / хранить отсортированные метаданные о содержимом этих файлов, чтобы я мог выполнить некоторую тяжелую вычислительную работу заранее, а затем быстрее искать в будущем?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...