Robots.txt блокирует все, кроме Google и партнеров - PullRequest
Новая
       33

Robots.txt блокирует все, кроме Google и партнеров

1 голос
/ 12 марта 2020

Я пытаюсь заблокировать всех ботов с моего сайта и разрешить доступ только Google и его партнерам (кроме одной папки).

Это мой файл robots.txt

Однако я из моего журнала видно, что twitterbot может получить доступ к моему сайту 

GET /robots.txt HTTP/1.1" 200 560 "-" "Twitterbot/1.0"

Вот мой текст 

User-agent: Googlebot
Disallow: /administrator
Allow: /


User-agent: Googlebot-Mobile
Disallow: /administrator
Allow: /

User-agent: Mediapartners-Google
Disallow: /administrator
Allow: /

User-agent: Googlebot-news
Disallow: /administrator
Allow: /

User-agent: Googlebot-Image
Disallow: /administrator
Allow: /

User-agent: AdsBot-Google
Disallow: /administrator
Allow: /

User-agent: AdsBot-Google-Mobile
Disallow: /administrator
Allow: /

User-agent: APIs-Google
Disallow: /administrator
Allow: /

User-agent: *
Disallow: /

1 Ответ

1 голос
/ 12 марта 2020

Вы должны попробовать что-то вроде этого: - 

User-agent: bingbot
Disallow: /downloads/
Disallow: /nonsvn/
Disallow: /webview/
Disallow: /*/tag-*
Disallow: /*?*q=
Disallow: /*?*%2525*
Allow: /

User-agent: ia_archiver
Disallow: /downloads/
Disallow: /nonsvn/
Disallow: /webview/
Disallow: /*/tag-*
Disallow: /*?*q=
Disallow: /*?*%2525*
Allow: /

User-agent: Twitterbot
Disallow: /downloads/
Disallow: /nonsvn/
Disallow: /webview/
Disallow: /*/tag-*
Disallow: /*?*q=
Disallow: /*?*%2525*
Allow: /

User-agent: Yandex
Disallow: /
Allow: /tr/
Allow: /istanbul*
Allow: /ankara*
Allow: /izmir*
Allow: /çeşme*
Allow: /bursa*
Allow: /adana*
Allow: /antalya*
Allow: /izmit*
Allow: /konya*
Allow: /gaziantep*
Allow: /bodrum*
Allow: /eskisehir*
Allow: /bozcaada*

User-agent: SeznamBot
Sitemap: https://www.zomato.com/sitemap_seznam.xml.gz
Disallow: /downloads/
Disallow: /nonsvn/
Disallow: /webview/
Disallow: /*/tag-*
Disallow: /*?*q=
Disallow: /*?*%2525*
Allow: /

User-agent: DuckDuckBot
Disallow: /admin/
Disallow: /clients/
Disallow: /voicephp/
Disallow: /downloads/
Disallow: /nonsvn/
Disallow: /pt/
Disallow: /tr/
Disallow: /pl/
Disallow: /id/
Disallow: /cs/
Disallow: /sk/
Disallow: /vi/
Disallow: /it/
Disallow: /es/
Disallow: /webview/
Disallow: /mydashboard
Allow: /

User-agent: AhrefsBot
Disallow: /downloads/
Disallow: /nonsvn/
Disallow: /webview/
Disallow: /*/tag-*
Disallow: /*?*q=
Disallow: /*?*%2525*
Allow: /

User-agent: Applebot
Disallow: /downloads/
Disallow: /nonsvn/
Disallow: /webview/
Disallow: /*/tag-*
Disallow: /*?*q=
Disallow: /*?*%2525*
Allow: /

User-agent: SearchmetricsBot
Disallow: /downloads/
Disallow: /nonsvn/
Disallow: /webview/
Disallow: /*/tag-*
Disallow: /*?*q=
Disallow: /*?*%2525*
Allow: /

User-agent: SEMrushBot
Disallow: /downloads/
Disallow: /nonsvn/
Disallow: /webview/
Disallow: /*/tag-*
Disallow: /*?*q=
Disallow: /*?*%2525*
Allow: /

User-agent: *
Disallow: /
...