Почему robort.txt показывает отправленный URL, заблокированный robots.txt? Нужно ли создавать файл robort.txt?
User-agent: * Disallow: