У меня есть несколько сотен гигабайт текстовых данных, содержащихся в одном дереве каталогов. Эти данные состоят как из очень больших текстовых файлов, так и из нескольких дампов базы данных MySQL (которые по большей части, конечно, функционируют как текстовые файлы, когда они находятся вне СУБД). Структура данных в текстовых файлах сильно разнится, некоторые из них представляют собой одну запись на строку, некоторые имеют столбцы и все виды разделителей столбцов, а некоторые даже выглядят как JSON.
Мой обычный метод поиска в этой большой, но примитивной базе данных - это grep в родительской папке, но база данных теперь достаточно велика, чтобы одна команда grep могла занимать до 30 минут.
По этой причине мне давно пора перейти на правильное решение для базы данных.
Все данные хранятся на моем локальном компьютере, и я буду единственным пользователем, поэтому мои требования крешение было бы следующим:
Чтобы я мог указать его в свой родительский каталог, чтобы проиндексировать все текстовые файлы в нем, давая мне возможность искать их как можно быстрее
То, что мне не нужно изучать язык только для поиска в базе данных - предпочтителен графический интерфейс для поиска, но CLI также будет приемлемым
То, что мне не нужно настраивать и запускать весь сервер только для доступа к нему (если только не существует такой вещи, как безсерверная СУБД, и это абсолютно неизбежно)
Aприятный бонус, но не обязательный: я могу искать файлы, используя их столбцы, даже если между ними есть несовместимые разделители
Есть ли решение для управления базами данных, которое бы удовлетворяло этим требованиям exist, или я здесь слишком многого прошу?
Извинения за любые наивные или ложные предположения в этом вопросе;базы данных - это просто то, что мои потребности заставили меня изучить, а не то, о чем я обязательно много знаю.