Я пытаюсь загрузить таблицу из Teradata в Hive.Данные содержат специальные символы, такие как (é, Ö).Когда я загружаю это в HDFS, файл заменяет эти символы на «?», «☐» и т. Д. Кодировка файла UTF-8 при открытии в notepad ++.Я использую Talend Big Data studio для вышеуказанной операции.
Текстовый файл, загруженный в HDFS, находится в кодировке UTF-8.2. Данные, которые помещаются в HDFS, как показано ниже.'ef bf bd' заменяется везде, где он стоит над символами.
0000120: 30 7c 56 ef bf bd 43 4c 41 56 20 45 4c 47 52 7c 0 | V ... CLAVELGR |
ожидаемый результат: VÀCLAV получил результат при ВИЧ: V�CLAV
Сторона Teradata, в столбце есть набор символов ASCII.
Кто-нибудь знает, как решить эту проблему?UTF-8 также содержит набор символов LATIN?
Заранее спасибо.