Не могу хранить определенные китайские иероглифы в MySQL

Question

Я импортирую CSV-файлы в MySQL, используя LOAD DATA с CHARACTER SET UTF8MB4. Чаще всего это работает, но время от времени я все еще получаю сообщения об ошибках вроде этого:

ОШИБКА 1300 (HY000): Неверная строка символов utf8mb4: '楽 天 市場 を み'

Похоже, что есть еще китайские иероглифы, которые не работают, и я понятия не имею, почему. Эти персонажи находятся вне utf8mb4? Как это можно сделать?

Редактировать: При открытии CSV с Notepad ++, кажется, есть «невидимая» часть после китайских букв, не уверен, если это причина или китайские буквы до: 楽 天 市場 をみ xE3x82

Answer 1

Что-нибудь в потоке данных ограничивает этот столбец 20 байтами ? E38292 равно を;E382 представляется усеченным символом UTF-8. Я интерпретирую 楽天市場をみxE3x82 как 6 правильно сформированных 3-байтовых символа, плюс еще 2 байта, следовательно, 20.

Я думаю, что проблема (и возможный 20-байтовый предел) произошла до создания файл CSV.