Эта проблема появилась только месяц назад, когда Moz сообщил, что больше не может сканировать наш сайт, потому что кампания настроена для нашего корневого домена, но весь наш трафик перенаправляется на поддомен 'www'.
Таким образом, «example.com/some-page.html» правильно перенаправляется на «www.example.com/some-page.html» (а также на все остальные страницы нашего сайта).
'www.example.com / robots.txt' также работает правильно.
'example.com / robots.txt' получает тайм-аут соединения.
Я протестировал всеэто полностью с https://httpstatus.io/
Наш DNS-регистратор - GoDaddy, наш сайт расположен на Heroku, а наша платформа - Ruby on Rails.