sqlite и python ... быстрый и яростный

Question

Я реализовал в python программу, которая строит несколько дБ из файла fasta. Файл fasta - это текстовый файл, который содержит некоторые макромолекулярные последовательности. Вы можете прочитать больше о здесь . Из каждого белка моя программа генерирует список пептидов, они представляют собой кусочки белков. Для моих целей программа строит и опрашивает БД в SQLite.

Знаете ли вы, есть ли много уловок, чтобы заполнить или опрашивать sqlite db быстрее в python? Если я использую слои или ORM, такие как SQLAlchemy, могу ли я улучшить производительность?

Answer 1

Вы не улучшите производительность, уровень ORM добавит немного накладных расходов, но вы, вероятно, сможете легче экспериментировать. Учитывая размер ваших данных, вы можете создать базу данных в памяти , что будет быстрее. Или вы можете захотеть взглянуть на другой тип базы данных, например, redis .