как конвертировать кодировку символов с помощью ruby ​​1.9 - PullRequest
Новая
       29

как конвертировать кодировку символов с помощью ruby ​​1.9

10 голосов
/ 01 июля 2010

У меня сейчас проблемы с результатами Amazon API.

служба возвращает строку с символами Unicode: Learn Objective \ xE2 \ x80 \ x93C на Mac (серия Learn)

с ruby ​​1.9.1 строка даже не может быть обработана: 

REXML::ParseException: #<Encoding::CompatibilityError: incompatible encoding regexp match (UTF-8 regexp with ASCII-8BIT string)>

...

Exception parsing

Line: 1

Position: 1636

Last 80 unconsumed characters:

Learn Objective–C on the Mac (Learn Series)

Ответы [ 2 ]

29 голосов
/ 01 июля 2010

В качестве точек исключения ваша строка кодируется в ASCII-8BIT. Вы должны изменить кодировку. Существует длинная история об этом, но если вы заинтересованы в быстром решении, просто force_encoding в строке перед любой обработкой: 

s = "Learn Objective\xE2\x80\x93C on the Mac"
# => "Learn Objective\xE2\x80\x93C on the Mac"
s.encoding
# => #<Encoding:ASCII-8BIT>
s.force_encoding 'utf-8'
# => "Learn Objective–C on the Mac"
25 голосов
/ 31 марта 2012

Решение Младена работает, если все, что закодировано в ASCII-8BIT, действительно может быть преобразовано непосредственно в UTF-8. Он прерывается, когда есть символы, которые 1) недопустимы или 2) не определены в UTF-8. Тем не менее, это будет работать (в 1.9.2 и выше: 

new_str = s.encode('utf-8', 'binary', :invalid => :replace, 
  :undef => :replace, :replace => '')

ASCII-8BIT является фактически двоичным. Этот код преобразует кодировку в UTF-8, одновременно обрабатывая недопустимые и неопределенные символы. Опция: invalid указывает, что недопустимые символы должны быть заменены. Опция: undef указывает, что неопределенные символы должны быть заменены. А опция: replace определяет, на что следует заменить недопустимые или неопределенные символы. В этом случае я решил просто удалить их.

...