Импортировать массивные данные CSV с помощью команды symfony слишком медленно с доктриной - PullRequest
Новая
       36

Импортировать массивные данные CSV с помощью команды symfony слишком медленно с доктриной

1 голос
/ 07 мая 2019

Мне нужно импортировать много данных из файла csv (45 Мо) в базу данных myqsl с помощью Symfony.Я импортировал библиотеку League \ Csv \ Reader. Я сделал команду с доктриной.Это работает, но я очень медленно.Как я могу ускорить это?

Я пытался:

  1. добавив: $ this-> em-> clear () после $ this-> em-> flush ();

  2. добавление: // Отключение ведения журнала SQL: во избежание огромных потерь памяти.$this->em->getConnection()->getConfiguration()->setSQLLogger(null);

.

namespace App\Command;

use Symfony\Component\Console\Command\Command;
use Symfony\Component\Console\Input\InputInterface;
use Symfony\Component\Console\Output\OutputInterface;
use Symfony\Component\Console\Style\SymfonyStyle;
use App\Entity\Developer;
use App\Entity\BadgeLabel;
use Doctrine\ORM\EntityManagerInterface;
use League\Csv\Reader;

class CsvImportCommand extends Command
{
    public function __construct(EntityManagerInterface $em){

        parent::__construct();

        $this->em = $em;
    }

    // the name of the command (the part after "bin/console")
    protected static $defaultName = 'app:import-developpers';

    protected function configure()
    {
        $this
        // the short description shown while running "php bin/console list"
        ->setDescription('Import a new developper.')

        // the full command description shown when running the command with
        // the "--help" option
        ->setHelp('This command allows you to import a develpper...')
    ;

    }

    protected function execute(InputInterface $input, OutputInterface $output)
    {
        $io = new SymfonyStyle($input, $output);
        $io->title('Importation en cours');


        $reader = Reader::createFromPath('%kernel.root_dir%/../src/Data/developers_big.csv')
            ->setHeaderOffset(0)
        ;
        $results = $reader->getrecords();
        $io->progressStart(iterator_count($results));

        //Disable SQL Logging: to avoid huge memory loss.
        $this->em->getConnection()->getConfiguration()->setSQLLogger(null);


        foreach ($results as $row) {
            $developer = $this->em->getRepository(Developer::class)
            ->findOneBy([
                'firstName' => ($row['FIRSTNAME']),
                'lastName'=> ($row['LASTNAME'])
            ])
            ;

            if (null === $developer) {
                $developer = new developer;
                $developer
                    ->setFirstName($row['FIRSTNAME'])
                    ->setLastName($row['LASTNAME']);
                $this->em->persist($developer);
                $this->em->flush();
                $this->em->clear();             
            }

            $badgeLabel = $this->em->getRepository(BadgeLabel::class)
                ->findOneBy([
                    'name' => ($row['BADGE LABEL']),
                    'level'=> ($row['BADGE LEVEL'])
                ])
            ;

            if (null === $badgeLabel) {
                $badgeLabel = new BadgeLabel;
                $badgeLabel
                    ->setName($row['BADGE LABEL'])
                    ->setLevel($row['BADGE LEVEL']);
                $this->em->persist($badgeLabel);
                $this->em->flush();
                $this->em->clear();

            }
            $developer
                ->addBadgeLabel($badgeLabel);

            $io->progressAdvance();
        }

        $this->em->flush();
        $this->em->clear();

        $io->progressFinish();
        $io->success('Importation terminée avec succès');
    }
}

Команда работает медленно.Через 15 минут только 32% были обновлены в моей базе данных Mysql.Я ожидал это через 2 минуты максимум

1 Ответ

1 голос
/ 07 мая 2019

Метод1: (не самый лучший)

Когда вызывается метод flush, Symfony проходит через всех слушателей. Таким образом, вы можете избежать сброса на каждом цикле. Вы можете заменить каждый сброс следующим кодом: 

if (0 === ($batchSize++ % $input->getOption('fetch'))) {
    $this->entityManager->flush();
    $this->entityManager->clear();
}
Параметр

fetch может быть объявлен в методе configure: 

    const BATCH_SIZE = 1000; // As example

    /**
     * Configure the command.
     */
    protected function configure()
    {
        $this
        // the short description shown while running "php bin/console list"
        ->setDescription('Import a new developper.')

        //This option helps you to find a good value and use BATCH_SIZE constant as default
        ->addOption('fetch', 'f', InputArgument::OPTIONAL, 'Number of loop between each flush', self::BATCH_SIZE)

        // the full command description shown when running the command with
        // the "--help" option
        ->setHelp('This command allows you to import a develpper...')
    ;

Метод 2: более эффективный

Вы можете создать команду, которая записывает все запросы SQL с обновлением или вставить в файл sql. Затем вы запускаете встроенную команду, которая читает файлы и выполняет запросы.

Метод 3: Использование DBAL Как предлагается в комментариях, вы можете использовать DBAL , чтобы избежать ненужного увлажнения объекта с помощью Doctrine.

...