Робот Googlebot сканирует мой сайт тысячи раз по тому же параметру GET - PullRequest
Новая
       83

Робот Googlebot сканирует мой сайт тысячи раз по тому же параметру GET

0 голосов
/ 24 января 2020

У меня сейчас проблемы с роботом Google (сканером Google). Фактически он сканирует одну из подстраниц моего сайта тысячи раз в минуту.

На веб-сайте есть фильтр года, который вызывает сам сайт с параметром y GET ?year=2019, например.

Теперь в моих файлах журнала присутствуют следующие обходы:

somedomain.org 0 - - [] "GET / HTTP / 1.1" 200 36217 "https://somedomain.org/page?someparam=abc%3Fyear%3D2016%3Fyear%3D2018%3Fyear%3D2008%3Fyear%3D2010%3Fyear%3D2009%3Fyear%3D2007%3Fyear%3D2012%3Fyear%3D2007%3Fyear%3D2012%3Fyear%3D2017%3Fyear%3D2017%3Fyear%3D2019%3Fyear%3D2007%3Fyear%3D2012%3Fyear%3D2007%3Fyear%3D2013%3Fyear%3D2016%3Fyear%3D2010%3Fyear%3D2013%3Fyear%3D2012? Year = 2012"" Mozilla / 5.0 (Linux; Android 6.0.1; Nexus 5X Build / MMB29P) AppleWebKit / 537.36 (K HTML, как Gecko) Chrome / 41.0.2272.118 Mobile Safari / 537.36 (совместимо; Googlebot / 2.1 ; + http://www.google.com/bot.html) "

Как вы можете видеть, он добавляет параметр несколько раз без экранирования.

Фильтр года выглядит следующим образом: 

<ul class="level_1">
<li class="active first"><a class="active first" href="page?year=2019" title="2019">2019</a></li>
<li class=""><a class="" href="page?year=2018" title="2018">2018</a></li>
<li class=""><a class="" href="page?year=2017" title="2017">2017</a></li>
<li class=""><a class="" href="page?year=2016" title="2016">2016</a></li>
</ul>
...