Загрузка данных inFile в Mysql

Question

У меня есть текстовый файл размером 1,5 ГБ или около 1,3Crores of Rows. Когда я загружаю этот текстовый файл в таблицу такой же структуры в MYSQL,

Загружает только 62 записей, показывает 65K предупреждений и завершен. В чем причина, почему он загружает только половину записей ???

Нужно ли увеличивать размер буфера ?? Если да, то как ??

или есть какая-то другая причина.

Можете ли вы, ребята, помочь мне?

Answer 1

Проблема в том, что когда вы импортируете много записей в mysql, это не всегда ведет себя хорошо. Он просто масштабирует данные, выпуская предупреждения для записей, которые имеют проблемы. Вы можете попробовать «показать предупреждения;», но это поможет вам только с последним предупреждением.

Размер буфера здесь не должен быть проблемой, если у вас нет большого количества больших элементов BLOB. В этом случае журнал ошибок может что-то сказать о размере файла журнала innodb.

Если журнал ошибок не помогает, я бы посоветовал вам попытаться разделить входные данные на несколько более мелких кусков, чтобы вы могли просматривать их, чтобы найти записи, которые вызывают проблему.

Я не знаю, что означают крор и лакх, поэтому не могу комментировать цифры.

Файл экспортируется тем же MySQL, в который вы пытаетесь его импортировать, или из другой версии MySQL? Могут быть несовместимости некоторых версий.