UTF8 в танцор, но не сценарий - PullRequest
Новая
       14

UTF8 в танцор, но не сценарий

1 голос
/ 20 марта 2012

Это продолжение до моего предыдущего вопроса о показе различий в строках Unicode . Оказывается, строки выглядят одинаково, однако в одной из них включен флаг UTF8. 

SV = PVMG(0x4cca750) at 0x4b3fc90
 REFCNT = 1
 FLAGS = (PADMY,POK,pPOK,UTF8)
 IV = 0
 NV = 0
 PV = 0x1eda410 "flurbe"\0 [UTF8 "flurbe"]
 CUR = 6
 LEN = 16

против 

SV = PV(0xf28090) at 0xf4b6a0
 REFCNT = 1
 FLAGS = (PADMY,POK,pPOK)
 PV = 0xf37b90 "flurbe"\0
 CUR = 6
 LEN = 16

Похоже, что это имеет значение между полученными хэшами sha512, когда я шифрую строку. Dancer - это то, что заставляет первый результат иметь utf8, насколько я могу судить, мой другой скрипт просто командный, без использования dancer, как заставить его вести себя таким же образом?

Ответы [ 2 ]

5 голосов
/ 20 марта 2012

(Это больше комментарий, чем ответ, но он слишком большой.)

Я только что запустил эту программу: 

#!/usr/bin/perl -w

use warnings;
use strict;

use Devel::Peek ();
use Digest::SHA ();

my $x = 'flurbe';

Devel::Peek::Dump $x;

print Digest::SHA::sha512_hex($x), "\n\n";

utf8::upgrade $x;

Devel::Peek::Dump $x;

print Digest::SHA::sha512_hex($x), "\n";

__END__

, и она выдала: 

SV = PV(0x10441040) at 0x10491638
  REFCNT = 1
  FLAGS = (PADMY,POK,pPOK)
  PV = 0x10449ca0 "flurbe"\0
  CUR = 6
  LEN = 8
1cd2e71e55653caeb6c9bffa47a66ff1c9b526bbb732dcff28412090601e9b5e34d36be6a0267527347cd94039b383d4bc45653d786d1041debe7faa0716bdf1

SV = PV(0x10441040) at 0x10491638
  REFCNT = 1
  FLAGS = (PADMY,POK,pPOK,UTF8)
  PV = 0x10449ca0 "flurbe"\0 [UTF8 "flurbe"]
  CUR = 6
  LEN = 8
1cd2e71e55653caeb6c9bffa47a66ff1c9b526bbb732dcff28412090601e9b5e34d36be6a0267527347cd94039b383d4bc45653d786d1041debe7faa0716bdf1

Как видите, Devel::Peek::Dump правильно определяет, что строка была обновлена ​​до UTF-8, но это не влияет на хэш SHA-512, вычисленный по Digest::SHA.

Отредактировано, чтобы добавить: В комментарии выше вы упомянули, что ваши "хэши являются случайными солями".Могут ли эти соли включать байты вне диапазона ASCII?Если это так, конкатенация с обновленной строкой UTF-8 может повлиять на их содержимое.Я только что запустил эту модифицированную программу: 

#!/usr/bin/perl -w

use warnings;
use strict;

use Devel::Peek ();
use Digest::SHA ();

my $x = 'flurbe';
my $y = "\xA0";      # a single byte, hex 00A0
my $z = "\xC2\xA0";  # UTF-8 representation of U+00A0, as a byte-string

Devel::Peek::Dump "$x$y";
print Digest::SHA::sha512_hex("$x$y"), "\n\n";

Devel::Peek::Dump "$x$z";
print Digest::SHA::sha512_hex("$x$z"), "\n\n";

utf8::upgrade $x;

Devel::Peek::Dump "$x$y";

print Digest::SHA::sha512_hex("$x$y"), "\n";

__END__

, и она выдала такой вывод: 

SV = PV(0x104410e8) at 0x104d68d8
  REFCNT = 1
  FLAGS = (PADTMP,POK,pPOK)
  PV = 0x10449ca0 "flurbe\240"\0
  CUR = 7
  LEN = 8
1901f989ed76143697ecc6683fd03ec793bc126d51cdbee0a72241933136c144f2e602828abddc7e4843df5542a099be92313fa5874d1d2dc54ecdd1ff308c5e

SV = PV(0x104d80b8) at 0x104ec098
  REFCNT = 1
  FLAGS = (PADTMP,POK,pPOK)
  PV = 0x10489170 "flurbe\302\240"\0
  CUR = 8
  LEN = 12
072f7b54c80fa8062ca1d17727a88c9ff4815f83c1166471331c6398b9140a06812eff341c98453f4c51356926dbe9694cbcbebfe4cda7e77cf68008ab838c6d

SV = PV(0x104d80a8) at 0x104f0f98
  REFCNT = 1
  FLAGS = (PADTMP,POK,pPOK,UTF8)
  PV = 0x104896c8 "flurbe\302\240"\0 [UTF8 "flurbe\x{a0}"]
  CUR = 8
  LEN = 12
072f7b54c80fa8062ca1d17727a88c9ff4815f83c1166471331c6398b9140a06812eff341c98453f4c51356926dbe9694cbcbebfe4cda7e77cf68008ab838c6d

Как вы можете видеть, хэш SHA-512 "$x$y" зависит от того, $x был UTF-8-модернизирован."$x$y" с обновленным UTF-8 $x дает тот же хэш SHA-512, что и "$x$z" с не -UTF-8-обновленным $x.Это связано с тем, что SHA-512 работает с байтами, а не с символами, а конкатенация строки, обновленной в UTF-8, со строкой байтов приводит к обновлению строки байтов в UTF-8.

1 голос
/ 20 марта 2012

У вас проблема с кодировкой, а именно ее отсутствие. Функции дайджеста работают с октетами. Вы даете ему символы, что неправильно.

Порядок действий: закодируйте своих персонажей в октеты. UTF-8 - подходящая кодировка. 

my $octets = Encode::encode('UTF-8', $characters, Encode::FB_CROAK);
# add salt to octets
# produce digest
...