Оптимизация большого импорта в php

Question

У меня есть простой импортер, он просматривает каждую строку довольно большого CSV и импортирует его в базу данных.

У меня вопрос: должен ли я вызывать другой метод для вставки каждого объекта (генерируя DO и сообщая, что его маппер вставляет) или я должен жестко кодировать процесс вставки в методе импорта, дублируя код?

Я знаю, что элегантная вещь - это вызов второго метода, но я все время слышу, что вызовы функций стоят дорого.

Что ты думаешь?

Answer 1

Многие бренды RDBMS поддерживают специальную команду для массового импорта. Например:

• MySQL: LOAD DATA INFILE
• PostgreSQL: COPY
• Microsoft SQL Server: BULK INSERT
• Oracle: SQL*Loader

Использование этих команд предпочтительнее, чем вставка одной строки за раз из источника данных CSV, поскольку команда массовой загрузки обычно выполняется по крайней мере на порядок быстрее.

Answer 2

Это не должно иметь значения, поскольку вставка займет, вероятно, на порядки больше, чем код php.

Как уже говорили другие, массовая вставка даст вам гораздо больше пользы. Эта оптимизация на уровне линии сделает вас слепыми только к хорошим оптимизациям более высокого уровня.

Если вы не уверены, выполните простую синхронизацию обоими способами, чтобы выяснить это не займет больше пары минут.

Подумайте о том, чтобы объединить оба подхода для создания пакетных вставок, если все сразу достигнет некоторого ограничения памяти / времени / ....

Answer 3

Я не думаю, что это имеет большое значение. Рассмотрим объемную вставку. По крайней мере, убедитесь, что вы используете транзакцию, и рассмотрите возможность отключения индексов перед вставкой.