Каков наилучший способ создания индекса, чтобы получить самый быстрый ответ на чтение?

Question

Мне нужно проиндексировать до 500 000 записей для быстрого чтения. Индекс необходимо периодически перестраивать на диске. Я пытаюсь выбрать между простым файлом, таким как хэш на диске, или одной таблицей во встроенной базе данных. У меня нет необходимости в RDBMS-движке.

Answer 1

cdb , если данные не изменяются.

/ Allan

Answer 2

PyTables Pro утверждает, что «для ситуаций, которые не требуют быстрого обновления или удаления, OPSI, вероятно, является одним из лучших доступных механизмов индексирования». Однако я лично не использовал его, но версия PyTables для F / OSS уже дает вам хорошую производительность:

http://www.pytables.org/moin/PyTablesPro

Answer 3

Если вы храните объекты состояния по ключу, как насчет Berkeley DB .

Answer 4

Возможно BDB ? Это высокое качество. база данных, которая не использует СУБД.

Answer 5

Я предполагаю, что вы имеете в виду таблицы индексации в реляционной СУБД (например, mySql, Oracle или Postgres).

Индексы - это вторичные хранилища данных, которые ведут запись подмножества полей для таблицы в определенном порядке.

Если вы создадите индекс, любой запрос, включающий подмножество полей, проиндексированных в предложении WHERE, будет выполняться быстрее.

Однако добавление индексов снизит производительность INSERT.

Как правило, индексы не нужно перестраивать, если они не повреждены. Они должны поддерживаться вашей СУБД на лету.

Answer 6

Если данные не должны быть полностью обновленными, вам также может понадобиться использовать инструмент хранилища данных для целей OLAP (например, MSOLAP ). Может молниеносно выполнять запросы только для чтения на основе предварительно рассчитанных данных.

Answer 7

Это то, для чего MapReduce был изобретен. Hadoop - классная реализация Java.