Pymongo AssertionError: идентификаторы не совпадают - PullRequest
Новая
       10

Pymongo AssertionError: идентификаторы не совпадают

5 голосов
/ 27 января 2011

Я использую:

  • MongoDB 1.6.5
  • Пимонго 1,9
  • Python 2.6.6

У меня есть 3 типа демонов. 1-й загружают данные из сети, 2-й анализирует и сохраняет результат и 3-й результат группы. Все они работают с Mongodb. В какой-то момент 3-й демон выдает много подобных исключений (в основном, когда в БД большой объем данных): 

Traceback (most recent call last):
  File "/usr/local/lib/python2.6/dist-packages/gevent-0.13.1-py2.6-linux-x86_64.egg/gevent/greenlet.py", line 405, in run
    result = self._run(*self.args, **self.kwargs)
  File "/data/www/spider/daemon/scripts/mainconverter.py", line 72, in work
    for item in res:
  File "/usr/local/lib/python2.6/dist-packages/pymongo-1.9_-py2.6-linux-x86_64.egg/pymongo/cursor.py", line 601, in next
    if len(self.__data) or self._refresh():
  File "/usr/local/lib/python2.6/dist-packages/pymongo-1.9_-py2.6-linux-x86_64.egg/pymongo/cursor.py", line 564, in _refresh
    self.__query_spec(), self.__fields))
  File "/usr/local/lib/python2.6/dist-packages/pymongo-1.9_-py2.6-linux-x86_64.egg/pymongo/cursor.py", line 521, in __send_message
    **kwargs)
  File "/usr/local/lib/python2.6/dist-packages/pymongo-1.9_-py2.6-linux-x86_64.egg/pymongo/connection.py", line 743, in _send_message_with_response
    return self.__send_and_receive(message, sock)
  File "/usr/local/lib/python2.6/dist-packages/pymongo-1.9_-py2.6-linux-x86_64.egg/pymongo/connection.py", line 724, in __send_and_receive
    return self.__receive_message_on_socket(1, request_id, sock)
  File "/usr/local/lib/python2.6/dist-packages/pymongo-1.9_-py2.6-linux-x86_64.egg/pymongo/connection.py", line 714, in __receive_message_on_socket
    struct.unpack("<i", header[8:12])[0])
AssertionError: ids don't match -561338340 0
<Greenlet at 0x2baa628: <bound method Worker.work of <scripts.mainconverter.Worker object at 0x2ba8450>>> failed with AssertionError

Может кто-нибудь сказать, чем вызвано это исключение и как это исправить.

Спасибо.

1 Ответ

4 голосов
/ 05 февраля 2011

Вероятно, это проблема многопоточности, связанная с тем, как вы используете рабочие потоки с сопрограммами gevent. Похоже, объект соединения pymongo читает ответ на запрос, который он не сделал.

...