Попробуйте добавить [ИЛИ] к вашему первому RewriteCond:
RewriteCond %{HTTPS} off [OR]
Это должно помочь при оценке обоих условий, чтобы ваш RewriteRule мог иметь место, даже если только первый RewriteCond имеет значение false.Отсутствие флага [ИЛИ] делает его [И] по умолчанию.