Python Celery сохраняет результаты в базе данных асинхронно

Question

Я использую Python с Celery и RabbitMQ, чтобы создать веб-паука для подсчета количества ссылок на странице.

Может ли база данных, такая как MySQL, записываться в асинхронно? Можно ли фиксировать изменения после каждой добавленной строки или требуется пакетировать их (с множественным добавлением) и затем фиксировать после определенного количества строк / длительности?

Я бы предпочел использовать SQLAlchemy и MySQL, если для Celery / RabbitMQ не существует более рекомендуемой комбинации. Я также вижу, что рекомендуется NoSQL (CouchDB?).

Answer 1

Для интенсивных операций записи, таких как счетчики и журналы, решение NoSQL всегда лучший выбор.Лично я использую mongoDB для такого рода задач.