Rails activerecord-import: Как узнать, сколько записей нужно вставить в один пакет?

Question

Я только начал использовать activerecord-import , и это намного быстрее, чем одна за другой, которую я делал раньше.В настоящее время я вставляю партии по 500 записей, и мне интересно, что другие люди считают хорошим количеством для партий?Я знаю, что нет ответа "один размер подходит всем".Я просто ищу рекомендации от других, которые имеют опыт работы с activerecord-import.Я посмотрел на документацию и гуглил ее, и ничего не нашел.

Дополнительная информацияценности.

Любая помощь приветствуется.

Answer 1

activerecord-import будет разбивать импорт на группы, основываясь на максимальном разрешенном пакете для вашего адаптера базы данных, поэтому вы не должны сталкиваться с проблемами . Оптимизация - это еще одна проблема.

Единственное, что меня беспокоит, - это выделение памяти - если вы уже выделили все объекты и просто подаете их партиями на вызов import, я бы сделал их все сразу.

Если вы генерируете объекты динамически для каждого пакета (например, при чтении из файла), вам следует провести некоторое тестирование и посмотреть, как выглядит использование памяти для пакетов разных размеров.