Блокирующие URL-адреса боты - PullRequest
Новая
       36

Блокирующие URL-адреса боты

6 голосов
/ 12 октября 2019

У меня есть клиент, для которого я пытаюсь установить SSL-сертификат через SSL бесплатно, как я делал это раньше 100 раз.

Я создал файловую структуру в public_html:

  • .well-known> acme-challenge> <uploaded verification file>

Затем я попытался загрузить сертификат и получил следующее сообщение об ошибке:

Предупреждение:Ваш проверочный URL не возвращает правильное содержимое на наши проверочные серверы. URL выглядит так, как будто он блокирует ботов и непреднамеренно блокирует наши серверы от получения правильного контента. Обратитесь к своему хосту, профессиональному разработчику или администратору за дополнительной помощью по его исправлению.

Я предположил, что это из-за файла robots.txt, посмотрел и включал следующее: 

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Таким образом, я изменил его, чтобы временно разрешить всем ботам, используя: 

User-agent: * 
Disallow:

Затем я повторил процесс, загрузив новый файл подтверждения, но все же я получаю то же самое предупреждение о блокировке URLботы. Кто-нибудь сталкивался с этим раньше и знает, как это исправить?

Я также пытался проверить с помощью записи DNS .txt и через FTP, оба возвращают одинаковые уведомления об ошибках.

Хостингчерез GoDaddy и они используют Linux cPanel. Сайт сделан через WordPress.

Ввод example.com/robots.txt возвращает правильный robots.txt файл.

Спасибо за помощь и любую помощь!

Ответы [ 2 ]

4 голосов
/ 16 октября 2019

Я сейчас исправил эту проблему. Это действительно было связано с файлом robots.txt, как я и думал. Причина, по которой он изначально не работал, заключается в том, что сайт все еще кэшируется со старым файлом, который блокировал ботов по всему сайту.

Я добавил некоторый код в мой файл .htaccess, чтобы принудительно выполнить повторную проверкукеш: 

ExpiresActive On
ExpiresDefault A1
Header append Cache-Control must-revalidate

После этого и с моим новым файлом robots.txt я смог установить новый сертификат SSL на веб-сайт, который сейчас работает! Я надеюсь, что это поможет всем, у кого возникла такая же проблема.

Просто не забудьте впоследствии удалить приведенный выше код, поскольку это временно остановит кеширование вашего сайта.

0 голосов
/ 13 октября 2019

Я решил эту проблему на портале SSL For Free. После нажатия кнопки «Обновить» в разделе «Сертификаты» я нажал на ссылку «Восстановить аккаунт». Затем прошли обычные шаги по обновлению, и это сработало.

...