У меня есть домен www.mydomain.com, и я установил apache mod-rewrite так, чтобы он был www.mydomain.com/myappl. Где мне разместить файл robots.txt? спасибо!
Файл robots.txt должен быть доступен для клиентов как http://www.mydomain.com/robots.txt. Как это сделать, зависит от конфигурации вашего мода-перезаписи. Пожалуйста, опубликуйте конфигурацию, если вам нужна дополнительная помощь.
Также см. http://en.wikipedia.org/wiki/Robots_exclusion_standard для деталей.
Я не знаю ;-) Но вы можете использовать проверку роботов , чтобы узнать, доступен ли ваш файл. Так что, если вы не знаете, угадайте, где он будет доступен, и протестируйте его.