Запретить поисковому боту загружать изображения с сервера RETS - PullRequest
0 голосов
/ 21 сентября 2010

Я создаю веб-сайт для клиента, с помощью которого я буду получать все свои данные с сервера RETS. В БД более 5000 свойств, поэтому я извлекаю изображения для каждого свойства на лету (чтобы не перегружать сервер).

Все работает правильно, но я тяну изображения только тогда, когда пользователь просматривает определенное свойство. Поэтому мой вопрос: будет ли поисковый бот также запускать загрузку этого изображения ??

Если так, как я могу предотвратить это?

1 Ответ

2 голосов
/ 14 октября 2010

Зависит от поискового бота. Если все ваши изображения обслуживаются с какого-то известного и правильно сформированного URL-адреса, то вы можете сказать ботам, чтобы они не ударили по ним, добавив запрещающую строку в ваш файл robots.txt:

User-agent: *
Disallow: /images/
...