База данных для веб-сканера в Python?

Question

Привет, я пишу сканер в Python для извлечения новостных статей с новостных сайтов, таких как nytimes.com. Я хочу знать, что было бы хорошим БД для использования в качестве бэкэнда для этого проекта?

Заранее спасибо!

Answer 1

Это может быть отличный проект для использования базы данных документов, такой как CouchDB, MongoDB или SimpleDB.

MongoDB предлагает хост-решение: http://mongohq.com. Существует также привязка для Python (Pymongo) .

SimpleDB - отличный выбор, если вы размещаете его на Amazon Web Services

CouchDB - это пакет с открытым исходным кодом от Apache Foundation.

Answer 2

Лично я люблю PostGreSQL - но другие бесплатные БД, такие как MySql (или, если у вас достаточно небольшие объемы данных - максимум несколько ГБ - даже SQLite, который поставляется с Python ) тоже подойдет.

Answer 3

Я думаю, что сама база данных, вероятно, будет одним из самых простых аспектов такого сканера, как этот.

Если вы ожидаете чтения или записи в базу данных с высокой нагрузкой (например, если вы собираетесь запускать несколько сканеров одновременно), вам нужно будет двигаться в направлении MySql, в противном случае что-то вроде Sqlite наверное у тебя просто отлично.

Answer 4

Вы можете взглянуть на Жар-птица

Firebird Python Driver разработан основной командой