Вы можете использовать это правило как ваше самое верхнее правило :
RewriteEngine On
RewriteCond %{HTTPS} !on [OR]
RewriteCond %{REQUEST_URI} ^/index\.php$ [NC]
RewriteRule ^(?:index\.php)?$ https://%{HTTP_HOST} [L,NE,R=301]
Убедитесь, что это верхнее правило, и протестируйте его из нового браузера.