Загрузка объемных данных в MariaDB с отчетами об ошибках

Question

У меня есть CSV-файл с 10 миллионами записей, которые мне нужно быстро загрузить в базу данных MariaDB. Я использую LOAD DATA INFILE для импорта данных, однако у меня есть одна серьезная проблема: сообщения об ошибках. Кажется, что LOAD DATA INFILE очень ограничен в своей способности предоставлять полезную обратную связь о любых ошибках, обнаруженных во время импорта файла. SHOW WARNINGS ограничено 65 535 ошибками и не содержит номера строки для предупреждений, которые оно предоставляет. Мне нужно найти решение, которое не ограничено количеством ошибок, которые оно может потенциально предоставить, и которое может сказать, какой номер строки в CSV вызвал ошибку. Я не смог найти ничего в документации MariaDB, чтобы помочь. Каково оптимальное решение этой дилеммы?

Answer 1

Если это пустые столбцы, ошибки преобразования и т. Д., То вместо этого я предлагаю следующее:

1. CREATE TABLE с AUTO_INCREMENT и в основном (или полностью) VARCHAR(...) NULL столбцами.
2. LOAD DATA - это не должно давать ошибок?
3. Выполнение различных запросов SQL для очистки данных. Обратите внимание, что столбец AI будет номером строки (если система не является многоуровневой).
4. Скопируйте очищенные данные в «реальную» таблицу с реалистичными типами данных столбцов.