Perl Unicode глюк - PullRequest
Новая
       25

Perl Unicode глюк

5 голосов
/ 01 января 2011

В этом выводе, почему я получаю дополнительные символы новой строки после печати символов Unicode, отличных от ASCII?

Платформа - Windows Vista, и проблема возникает после chcp 65001, но не после chcp 850

C:\>chcp 850
Active code page: 850

C:\>perl unicode_bug_1.pl
Budweiser
Budweiser
Budweiser
Bud─øjovick├¢ Budvar
Bud─øjovick├¢ Budvar
Bud─øjovick├¢ Budvar

C:\>chcp 65001
Active code page: 65001

C:\>perl unicode_bug_1.pl
Budweiser
Budweiser
Budweiser
Budějovický Budvar

Budějovický Budvar

Budějovický Budvar

из этой программы 

#!perl
use strict;
use warnings;

binmode (STDOUT, "encoding(UTF-8)"); # so no "Wide character in print" warning

print "Budweiser\n" for 1..3;
print "Bud\N{U+011B}jovick\N{U+00FD} Budvar\n" for 1..3;

Ответы [ 2 ]

3 голосов
/ 20 февраля 2011

Это похоже на ошибку в Perl. Я думал, что это ошибка в кодовой странице Windows 65001, которая не поддерживается консолью, но я, наконец, создал тестовые программы на C и Perl, и проблема не возникает в C-версии. Это происходит независимо от того, где находится символ Unicode в строке, но печатаемая строка должна быть шире, чем поддерживает консоль.

Вот моя программа на C: 

#include "stdafx.h"

#include "Windows.h"


int _tmain(int argc, _TCHAR* argv[])
{
    BOOL b = SetConsoleOutputCP(65001);
    printf("set console output codepage returned %d\n", b);

    printf("cαfe\n");
    printf("1234567890 café\n");
    printf("1234567890 1234567890 cαfe\n");
    printf("1234567890 1234567890 1234567890 café\n");
    printf("1234567890 1234567890 1234567890 1234567890 cαfe\n");
    printf("1234567890 1234567890 1234567890 1234567890 1234567890 café\n");
    printf("1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 cαfe\n");
    printf("1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 café\n");
    printf("1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 cαfe\n");
    printf("1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 café\n");
    printf("1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 cαfe\n");
    printf("1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 café\n");
    printf("1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 cαfe\n");

    return 0;
}

А вот моя Perl-программа: 

#

use utf8;

binmode STDOUT, ':utf8';

printf STDOUT "cαfe\n";
printf STDOUT "1234567890 café\n";
printf STDOUT "1234567890 1234567890 cαfe\n";
printf STDOUT "1234567890 1234567890 1234567890 café\n";
printf STDOUT "1234567890 1234567890 1234567890 1234567890 cαfe\n";
printf STDOUT "1234567890 1234567890 1234567890 1234567890 1234567890 café\n";
printf STDOUT "1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 cαfe\n";
printf STDOUT "1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 café\n";
printf STDOUT "1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 cαfe\n";
printf STDOUT "1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 café\n";
printf STDOUT "1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 cαfe\n";
printf STDOUT "1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 café\n";
printf STDOUT "1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 1234567890 cαfe\n";

UPDATE

Нет, я ошибся, с помощью некоторых парней из #perl на irc.perl.org это оказалось ошибкой в ​​Microsoft API. WriteFile задокументировано, что возвращает количество записанных байт , но возвращает количество записанных символов , которое зависит от кодовой страницы. Ошибка была подана в марте 2010 года .

Существует обсуждение на форумах MSDN .

ОБНОВЛЕНИЕ 2

Я опубликовал блог Майкла Каплана, "Разбираясь во всем" , об этой проблеме, и он ответил статьей, озаглавленной "Скрыто на простом сайте: мошенническое письмо вроде сообщения об ошибке" . Он является экспертом по интернационализации Microsoft, поэтому вы наверняка найдете там некоторые идеи ...

0 голосов
/ 01 января 2011

Я не получаю никаких новых строк. Достаточно ли широка ваша командная строка для вывода?

...