Как импортировать большие объемы данных в Rails?

Question

Чтобы загрузить небольшие объемы данных, я использовал задачи rake для важных данных из CSV в Rails:

desc "Import users." 
task :import_users => :environment do
    File.open("users.txt", "r").each do |line|
        name, age, profession = line.strip.split("\t")
        u = User.new(:name => name, :age => age, :profession => profession)
        u.save
    end
end

Для больших файлов (около 50 000 записей), однако, это невероятно медленно.Есть ли более быстрый способ импорта данных?

Answer 1

Возможно, вы захотите взглянуть на activerecord-import и проверить эту похожую тему .

Answer 2

Без дополнительных библиотек (я согласен, что массовый импорт с расширениями AR должен быть быстрее) (хотя AR: расширение пропускает проверки моделей), вы можете добавить немного параллелизма и воспользоваться преимуществами многоядерной машины

# Returns the number of processor for Linux, OS X or Windows.
def number_of_processors
  if RUBY_PLATFORM =~ /linux/
    return `cat /proc/cpuinfo | grep processor | wc -l`.to_i
  elsif RUBY_PLATFORM =~ /darwin/
    return `sysctl -n hw.logicalcpu`.to_i
  elsif RUBY_PLATFORM =~ /win32/
    # this works for windows 2000 or greater
    require 'win32ole'
    wmi = WIN32OLE.connect("winmgmts://")
    wmi.ExecQuery("select * from Win32_ComputerSystem").each do |system| 
      begin
        processors = system.NumberOfLogicalProcessors
      rescue
        processors = 0
      end
      return [system.NumberOfProcessors, processors].max
    end
  end
  raise "can't determine 'number_of_processors' for '#{RUBY_PLATFORM}'"
end

desc "Import users." 
task :fork_import_users => :environment do
  procs = number_of_processors
  lines = IO.readlines('user.txt')
  nb_lines = lines.size
  slices = nb_lines / procs
  procs.times do
    subset = lines.slice!(0..slices)
    fork do
      subset.each do |line|
        name, age, profession = line.strip.split("\t")
        u = User.new(:name => name, :age => age, :profession => profession)
        u.save
      end
    end
  end
  Process.waitall
end

на моей машине с 2 ядрами и версией с вилкой, которую я получаю

real    1m41.974s
user    1m32.629s
sys     0m7.318s

пока с вашей версией:

real    2m56.401s
user    1m21.953s
sys     0m7.529s

Answer 3

Вы должны попробовать FasterCSV .Это довольно быстро и просто для меня.