Мне показалось, что это работает на Centos 5.6 и Centos 6.2 (оба 64-битных):
$ perlbrew install 5.8.9 -Accflags="-m32 -march=i686" -Aldflags="-m32 -march=i686" -Alddlflags="-shared -m32 -march=i686"
Протестировано с 5.8.9 и 5.12.4.
Предостережение: perl все еще записывал archname = x86_64-linux и использовал его для специфичных для arch каталогов в скомпилированном @INC. Это бородавка, но содержимое 32-битное.