PCRE правильно поддерживает строку Unicode?

Question

Правильно ли PCRE поддерживает строку Unicode?

Answer 1

Да, это так (хотя, вероятно, еще не Unicode 6).Со страницы руководства :

Текущая реализация PCRE примерно соответствует Perl 5.12, включая порт для строк в кодировке UTF-8 и свойства общей категории Unicode.Однако поддержка UTF-8 и Unicode должна быть явно включена;это не по умолчанию.Таблицы Unicode соответствуют выпуску Unicode 5.2.0.

Answer 2

Если ваш PCRE был скомпилирован без включенного UTF-8, вы можете включить его, добавив (*UTF8) в начало вашего регулярного выражения.

Например:

> echo ‒ | grep -Po '[‒]'

соответствует каждому из 3 кодов utf-8 символа ‒ по отдельности (то есть: 3 строки вывода), тогда как это:

> echo ‒ | grep -Po '(*UTF8)[‒]'

имеет ожидаемый результат, производя одну строку вывода, содержащую символ ‒.

(я использую стандартную установку Ubuntu 12.04)

Answer 3

Он полностью поддерживает Unicode 5.1