Лучший способ для интеграции Django и Scrapy

Question

Я знаю несколько способов, таких как scrapy-djangoitem, но как уже упоминалось:

DjangoItem - довольно удобный способ интеграции проектов Scrapy с моделями Django, но имейте в виду, что Django ORM может плохо масштабироваться, если вы соскребаете много элементов (т.е. миллионов) с помощью Scrapy. Это связано с тем, что реляционный бэкэнд часто не является хорошим выбором для приложений с интенсивной записью (таких как веб-сканер), особенно если база данных сильно нормализована и имеет много индексов.

Так, как лучше всего использовать очищенные элементы в моделях db и django?

Answer 1

Речь идет не о Django ORM, а о базе данных, которую вы выбрали в качестве бэкэнда.Это говорит о том, что если вы ожидаете записать миллионы элементов в свои таблицы, системы реляционных баз данных могут быть не лучшим выбором (MySQL, Postgres ...), и это может быть еще хуже с точки зрения производительности, если вы добавите много указывает , так как ваше приложение интенсивно для записи (база данных должна обновлять B-деревья или другие структуры для хранения индекса при каждой записи).

Я бы предложил придерживаться Postgres или MySQL сейчас и посмотритедля другого решения, если у вас начнутся проблемы с производительностью на уровне базы данных.