Использование реферера из https URL, вероятно, будет не очень успешным.
Также обратите внимание, что пульт дистанционного управления в googledocs выбирается не браузером с вашего сервера, а серверным процессом в Google.
У меня была та же проблема, и я обнаружил хитрость, заключающуюся в том, чтобы разрешить конкретному User-Agent:
RewriteCond %{HTTP_USER_AGENT} !(.*Feedfetcher-Google.*)
Конечно, это легко подделать, но при "нормальном использовании" ваша защита от хотлинка все равно будет работать.