Вы делаете несколько ошибок здесь, но, как сказала Парапура, только одна вызывает эту конкретную ошибку.
print "Please input info to write to the file\n";
my $input = <STDIN>;
#Three argument open is better than a global filehandle
open (my $handle, '>>', 'information.txt') or die "$!";
until($input =~ /^exit$/) { #Better with ^$, else 'fireexit' will end the loop as well.
print $handle $input;
print "Enter 'exit' to exit or add more info\n";
#Remove the 'my', else it is another variable than the one in the until clause
$input = <STDIN>;
}
close ($handle) or die "$!";