Ruby, MongoDB: Как разделить курсор между потоками?

Question

следующее не работает. Вызов resources.next_document в потоке возвращает ноль. Тот же вызов без потоков работает как ожидалось.

Есть ли какие-нибудь эксперты MongoDB? : P

  resources = db[Resource::COLLECTION].find 

  number_of_threads.times do
    threads << Thread.new do
      while resource = resources.next_document
        puts 'one more doc'
      end
    end
  end  

Answer 1

Это решение, которое я использовал в итоге:

Обратная связь приветствуется

pool = DocumentPool.new(db)
5.times do 
  Thread.new do
    while doc = pool.next_document
      #something cool
    end
  end
end


class DocumentPool   
  COLLECTION = 'some_collection'

  def initialize(db)
    @db = db                
    @first_doc = cursor.next_document      
  end

  def collection
    @db[COLLECTION]
  end

  def cursor
    @cursor ||= collection.find
  end   

  def shift
    doc = nil
    if @first_doc
      doc = @first_doc   
      @first_doc = nil  
    else
      doc = cursor.next_document    
    end
    doc
  end                               

  def count
    collection.count
  end
end

Answer 2

Хотя сам драйвер является потокобезопасным, а курсор отдельных - нет, поэтому вы не можете надежно обрабатывать данные так, как вы описываете.

Одной из возможностей может быть создание одного потока, который перебирает документы и передает их любому количеству рабочих потоков для фактической обработки.