Думайте об этом как о реляционной базе данных с одной огромной таблицей.Чтобы найти определенный фрагмент данных, вы можете выполнить последовательное сканирование всей таблицы или использовать индекс (который должен использоваться для типа запроса, который вы хотите выполнить).
ТипичныйИндекс для текстового файла будет представлять собой список смещений внутри файла, отсортированный по выражению индекса.Если файл csv уже отсортирован по определенному столбцу, то смещения в индексе будут возрастать, что полезно знать при построении индекса.
Таким образом, в общем случае вы все равно должны прочитать файл один раз, чтобыузнать, где заканчиваются строки;это индекс для столбца сортировки.Чтобы найти конкретный элемент, используйте бинарный поиск , используя индекс для поиска отдельных элементов в наборе данных.
В зависимости от типа данных вы можете расширить свой индекс, чтобы обеспечить быстрыйсравнение без чтения таблицы фактических данных.Например, в списке слов вы можете оставить первые четыре буквы слова рядом со смещением, что позволяет быстро попасть в нужную область и требует только чтения данных для последних обращений (которые затем можно оптимизировать до последовательногосканировать, поскольку файловые системы справляются с этим намного лучше).
Тот же метод может быть применен и к другим столбцам;конечно, смещения, хранящиеся в индексе, больше не будут возрастать в порядке файлов.
Поскольку это данные CSV, также применяется особый случай: если единственный индекс, который у вас есть, находится в том же порядке, что и файлсами данные и конец записи можно легко определить (т. е. либо у вас фиксированная длина записи, либо имеется четкий разделитель записей, такой как символ EOL), тогда построение фактического индекса можно опустить и угадать значения(для записей фиксированной длины смещение всегда равно временному смещению длины записи в индексе; для отдельных записей вы можете просто перейти в середину записи и искать следующий терминатор; имейте в виду, что при двоичном поиске существуют неприятные угловые случаиВот).Это, однако, означает, что вы всегда будете читать страницы данных здесь, что менее эффективно, чем просто чтение индекса.