Ruby Mongo или Mongo параллельная проблема - PullRequest
Новая
       7

Ruby Mongo или Mongo параллельная проблема

6 голосов
/ 20 октября 2010

У меня возникла проблема параллелизма. Я использую пассажир, рельсы 2.3.5, mongoid 1.9.2 и драйвер монго ruby ​​1.0.9. Я использую jQuery для запроса данных, которые извлекаются из MongoDB, а затем отображаются в браузере. Все работает отлично, пока я не начал делать два таких запроса одновременно. В модели это методы, которые выполняются запросами: 

Class Visit
  include Mongoid::Document
  ...
  def self.cancellations_and_visits_by_therapist_graph(clinic_id) 
    visits = collection.group("function(x){ return { resource_id : x.resource_id } }",
            {:clinic_id => clinic_id, :visit_date => { "$gte" => Time.now - 6.months, "$lte" => Time.now}}, 
            {:visits => 0, :cancel_no_shows => 0},
            'function(obj, count) {
              if (obj.visit_status == "NO SHOW" || obj.visits_status == "CANCELLED") {
                count.cancel_no_shows += 1;
              } else {
                count.visits += 1;
              }

            }')

    visits = visits.group_by {|g| g['resource_id']}

    Resource.any_in(:mysql_id => visits.keys).order_by([:last_name, :asc]).order_by([:first_name, :asc]).inject({ 'visits' => [], 'cancel_no_shows' => [], 'xlabels' => []}) do |formatted_visits, resource|
      formatted_visits['visits'] << visits[resource.mysql_id.to_f].first['visits']
      formatted_visits['cancel_no_shows'] << visits[resource.mysql_id.to_f].first['cancel_no_shows']
      formatted_visits['xlabels'] << resource.last_name + ", " + resource.first_name
      formatted_visits
    end
  end



  def self.total_visits_for_graph(practice_id)
    visits = collection.group("function(x) { return { clinic_id : x.clinic_id } }", 
                          {:practice_id => practice_id, :visit_status => 'COMPLETE', :visit_date => { "$gte" => Time.now - 6.months, "$lte" => Time.now}},
                          {:visits => 0}, "function(obj, count) { count.visits += 1; }")

    visits = visits.group_by {|g| g['clinic_id']}
    Clinic.any_in(:mysql_id => visits.keys).order_by([:name, :asc]).inject({ 'data' => [], 'xlabels' => []}) do |formatted_visits, clinic|
      formatted_visits['data'] << visits[clinic.mysql_id.to_f].first['visits']
      formatted_visits['xlabels'] << clinic.name
      formatted_visits
    end
  end
end

Лучший способ описать проблему состоит в том, что результаты из Mongo передаются не тому объекту. Я посмотрел пример этого:

Это было возвращено, когда я позвонил CLinic.any_in (это результат одной из групп): 

{"group"=>{"$keyf"=>"function(x){ return { resource_id : x.resource_id } }", "cond"=>{:clinic_id=>101, :visit_date=>{"$gte"=>Tue Apr 20 15:34:37 +0800 2010, "$lte"=>Wed Oct 20 15:34:37 +0800 2010}}, "ns"=>"visits", "initial"=>{:visits=>0, :cancel_no_shows=>0}, "$reduce"=>"function(obj, count) {\n              if (obj.visit_status == \"NO SHOW\" || obj.visits_status == \"CANCELLED\") {\n                count.cancel_no_shows += 1;\n              } else {\n                count.visits += 1;\n              }\n\n            }"}}

Это (объект клиники) было возвращено вызовом collection.group: 

{"_id"=>BSON::ObjectId('4cb7d72b3bc5457800ce2e6f'), "name"=>"Corona", "practice_id"=>39, "mysql_id"=>101}

Как и во всех хороших проблемах с параллелизмом, результаты являются случайными, иногда они работают нормально, а иногда и взрываются. Я новичок в монго и монгоид, так что я на самом деле не уверен, если это проблема с монгоидом или драйвером монго, однако я думаю, что это связано с Mongoid. Я включаю мой инициализатор, который я использую для загрузки Mongoid в рельсы. Любые идеи или даже дополнительные идеи отладки очень ценятся.

Подключение 

mongoid_conf = YAML::load_file(Rails.root.join('config/mongoid.yml'))[Rails.env]

Mongoid.configure do |config|
  config.master = Mongo::Connection.new(mongoid_conf['host'], 27017, :pool_size => 5, :timeout => 5).db(mongoid_conf['database'])
end

1 Ответ

6 голосов
/ 22 октября 2010

Я нашел решение этой проблемы. На самом деле это был не водитель Монго или Монгоид, а пассажир. Когда Passenger перекрывает процесс рельсов, он разветвляет текущий экземпляр, чтобы дескрипторы файлов (включая дескрипторы TCP, распределялись между экземплярами приложения). Это означает, что монго записывается и читается одним и тем же сокетом, что приводит к проблеме параллелизма. Решение состоит в том, чтобы заставить монго переподключаться всякий раз, когда он разветвляется. Это решение, которое я нашел: 

# Handle the creation of new processes by Phusion Passenger
if defined?(PhusionPassenger)
  PhusionPassenger.on_event(:starting_worker_process) do |forked|
    if forked
      # We're in smart spawning mode.

      # Reset the connection to MongoDB
      Mongoid.config.master.connection.close
      load File.join(RAILS_ROOT, 'config/initializers/mongoid_init.rb')
    else
      # We're in conservative spawning mode. We don't need to do anything.    
    end
  end
end

Ссылка http://groups.google.com/group/mongodb-user/browse_thread/thread/f31e2d23de38136a для размещения и обсуждения оригинального ответа.

...