Поиск огромного количества записей в гигантском каталоге текстовых файлов, python / bash - PullRequest
0 голосов
/ 02 июня 2018

Мне нужно найти около 57K записей в каталоге, содержащем тысячи файлов резервных копий, всего 8 Гб.Я попробовал grep -f на современном сервере, но это переполнило память, и машина перестала отвечать на запросы.Обычный grep для одной записи занимает около 50 секунд.Моя следующая идея - попытаться собрать, например, 100 или 1000 записей одновременно, но я сомневаюсь, что это будет быстро.У кого-нибудь есть идея или пример того, как сделать это эффективно и быстро?Мне наиболее комфортно с Bash и Python.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...