проблемы блокировки базы данных с django - PullRequest
0 голосов
/ 27 мая 2009

У меня есть веб-страница, которая взаимодействует с несколькими внешними API-интерфейсами, и чтобы ускорить процесс (увеличение скорости практически линейно, поскольку большую часть времени тратится на ожидание ответов http и т. Д.), Код обрабатывается так, чтобы извлекает контент из нескольких API одновременно.

Проблема в том, что я сталкиваюсь с блокировкой базы данных, вероятно, из-за того, что данные из API записываются в базу данных более чем одним потоком одновременно.

Что я могу сделать, чтобы устранить эту проблему?

PS - пожалуйста, не предлагайте совершать вызовы API последовательно ... Те же проблемы возникают, когда несколько пользователей одновременно импортируют данные, за исключением того, что без потоков это будет медленнее для всех. И мы говорим о разнице между 15 секундами и несколькими минутами.

1 Ответ

3 голосов
/ 27 мая 2009

Определенно не пытайтесь сделать это с SQLite: его основным недостатком является параллелизм.

Если MySQL показывает ту же проблему, вы должны собрать все данные вместе, а затем записать их из одного потока.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...