Возникли проблемы при загрузке данных в InfoBright ICE - PullRequest
Новая
       37

Возникли проблемы при загрузке данных в InfoBright ICE

0 голосов
/ 12 апреля 2011

Версия ICE: infobright-3.5.2-p1-win_32

Я пытаюсь загрузить большой файл, но продолжаю сталкиваться с проблемами с ошибками, такими как:

Неверное определение данных или столбца.Строка: 989, поле: 5.

Это строка 989, поле 5:

”(450) 568-3 ***"

Примечание: Последние 3 символа также являются числами, но не хотели указывать здесь номер телефона.

На самом деле он ничем не отличается от других записей в этом поле.

Тип этого поля VARCHAR (255) NOT NULL

Ответы [ 3 ]

3 голосов
/ 01 мая 2012

Кроме того, если вы обновитесь до текущего выпуска 4.0.6, мы теперь поддерживаем проверку ошибок на уровне строк во время ЗАГРУЗКИ и поддерживаем файл отклонения.

Чтобы включить функцию отклонения файла, необходимо указать BH_REJECT_FILE_PATH и один из связанных с ним параметров (BH_ABORT_ON_COUNT или BH_ABORT_ON_THRESHOLD). Например, если вы хотите загрузить данные из файла DATAFILE.csv в таблицу T, но ожидаете, что 10 строк в этом файле могут быть неправильно отформатированы, вы должны выполнить следующие команды:

set @BH_REJECT_FILE_PATH = '/ tmp / reject_file';

set @BH_ABORT_ON_COUNT = 10;

загрузить файл данных DATAFILE.csv в таблицу T;

Если отклонено менее 10 строк, будет выведено предупреждение, загрузка будет выполнена успешно, и все проблемные строки будут выведены в файл / tmp / reject_file. Если загрузчик Infobright найдет десятую плохую строку, загрузка прекратится с ошибкой, и все найденные плохие строки будут выведены в файл /tmp/reject_file.

0 голосов
/ 02 ноября 2013

Я обнаружил, что это согласуется с разницей «\ r \ n» и «\ n». Даже при работе в загрузчике в Windows '\ n' выполняется успешно 100% раз (при условии, что у вас нет реальных проблем с вашими данными и определением столбцов)

0 голосов
/ 31 июля 2013

Я столкнулся с этой проблемой, когда последняя строка файла не заканчивается значением --lines-terminated-by = "\ n". Например, если я импортирую файл с 9000 строками данных, я должен убедиться, что в конце файла есть новая строка. В зависимости от размера файла, вы можете просто открыть его в текстовом редакторе и нажать клавишу возврата k

...