Консоль поиска Google сообщает, что мои изображения, размещенные на AWS CloudFront, «заблокированы файлом robots.txt». Я ищу способы, чтобы Google мог подтвердить, что у меня есть действительные изображения, а не отображать URL-адреса своих изображений как "Crawl Anamoly".
Вот краткий обзор моей настройки:
Мой основной сайт - www.crazyengineers.com, и он имеет robots.txt как
User-agent: *
Disallow:
Я настроил Cloudfront CDN для обслуживанияизображения из data.crazyengineers.com и изображения для правильной загрузки в браузере для пользователей. Вот пример URL-адреса изображения:
https://data.crazyengineers.com/old-attachments/6/6576-slide.jpg
Чтобы решить эту проблему, я создал общедоступный файл robots.txt и поместил его в исходную корзину. Я могу получить к нему доступ из своего браузера на
https://data.crazyengineers.com/robots.txt, и он имеет следующее содержимое -
User-agent: Googlebot
Disallow:
User-agent: Googlebot-image
Disallow:
Тем не менее, консоль поиска Google сообщает, что URL-адрес недоступен для Google, поскольку он заблокированrobots.txt.
Может кто-нибудь помочь мне понять, как заставить Google фактически получить доступ к изображениям и убрать ошибку "crawl anamoly" из GSC?