Попробуйте использовать вместо этого регулярное выражение:
$m =~ s/&(&?)/$1/g;
Посмотрите, как оно работает в режиме онлайн: ideone
Эта версия также будет работать с более чем 2 амперсандами:
$m =~ s/&(&*)/$1/g;
Посмотрите, как он работает в сети: ideone