Вы можете сделать это так:
RewriteEngine On
RewriteRule (.*).html$ $1.php [R-302,L]
Однако я бы не советовал этого делать. Первая версия, которая у вас есть, это внутреннее перенаправление. Это не влечет за собой поездки туда и обратно к клиенту. Эта версия делает. Когда веб-сервер получает запрос на index.html, он отправляет клиенту перенаправление на index.php. Затем он получает еще один запрос для index.php.
Это ненужный тур в оба конца и может только замедлить ваш сайт.
Невозможно изменить то, что находится в адресной строке, без внешнего перенаправления.