Я пытаюсь загрузить CSV-файл размером 3 ГБ (24 миллиона строк) в базу данных greenplum с использованием gpload , но получаю сообщение об ошибке ниже
Ошибка -
invalid byte sequence for encoding "UTF8": 0x8d
У меня есть пробное решение, предоставленное Майком , но для меня мои client_encoding и кодировка файлов уже совпадают. Оба являются ЮНИКОДОМ.
База данных -
show client_encoding;
"UNICODE"
Файл -
file my_file_name.csv
my_file_name.csv: UTF-8 Unicode (with BOM) text
Я также просмотрел документацию Greenplum , в которой говорится, что кодировка внешнего файла и базы данных должна совпадать. Это соответствует в моем случае, но как-то не получается.
Я также загрузил похожие файлы меньшего размера (тот же текст UTF-8 Unicode (с спецификацией))
Любая помощь приветствуется!