Я хочу перенаправить тот же файл file.php в html в каталоге
Чтобы "перенаправить" /dir/file.php в /dir/file.html, тогда вы должны сделать что-то подобное в верхней частивашего корневого .htaccess файла (при условии, что у вас уже есть директива RewriteEngine On):
RewriteRule ^dir/file\.php$ /dir/file.html [R,L]
С другой стороны ...
RewriteRule ^directory\file.html?$ directory/file.php [L,NC]
Это внутренняя перезапись (не «перенаправление») в противоположном направлении (от file.html до file.php), хотя ваш синтаксис также неверен (обратная косая черта вместо forward косая черта, невозможность избежать буквальной точки, необязательно l?).