Мне нужно импортировать около 1 ТБ CSV-файлов в базу данных MariaDB MySQL, но сервер больше не отвечает при импорте некоторых файлов.Кто-нибудь знает, как я могу сделать, чтобы избежать этих сбоев?
Сервер MySQL размещается на 64-разрядной Windows 10, версия mariadb 10.1.31.Это запрос, который я выполняю:
LOAD DATA LOCAL INFILE
'x:/Storage/DBP/$file'
IGNORE
INTO TABLE `$dataTableName`
LINES TERMINATED BY "\n"
(@ff)
SET
`email` = REGEXP_SUBSTR(@ff, "^[^;:,]*"),
`content` = REGEXP_SUBSTR(@ff, "[^;:,]+$");
Я проанализировал файлы, которые вызывают сбой сервера, и я пришел к выводу, что слишком много пробелов (около 1,5 МБ пробелов) вызывают серверврезаться.Я также проанализировал журналы mariadb, но он не вызывает никаких журналов при сбое.Рассматриваемые файлы также похожи и похожи на другие, того же размера (300 МБ-10 ГБ).