Мне нужно руководство по использованию проблемы robots.txt: У меня есть один действующий веб-сайт...
У меня есть клиент, чей домен, похоже, сильно поражен тем, что выглядит как DDoS. В журналах обычно...
Я собираюсь создать файл robots.txt . Я использую Блокнот . Как мне сохранить файл? UTF8 , ANSI или...
Используя инструкцию перенаправления в моем файле htaccess, люди, которые вводят следующее в...
Разрешит ли этот файл robots.txt только googlebot индексировать файл index.php моего сайта? CAVEAT,...
Мы переместили наш сайт на новый домен и хотим, чтобы все страницы старого сайта были удалены из...
Я хочу получить только в одной поисковой системе ... <a href="http://mysite.com/"...
Я хочу, чтобы мой robot.txt разрешал индексировать только мой индексный файл в Google.Как это...
есть ли какая-нибудь библиотека для разбора robots.txt, и если ее не существует, как я могу...
Я использую WordPress с пользовательскими постоянными ссылками, и я хочу запретить свои сообщения,...
У меня есть такие динамические URL. mydomain.com /? Pg = login mydomain.com/?pg=reguser mydomain
Disallow: /*“http: - это то, что я использую - я думаю, что мне может понадобиться как-то избежать...
Что будет блокировать эта строка, когда поисковая система сканирует сайт? Disallow: /? S
У меня есть общедоступная страница, на которую пользователи не могут войти.Поэтому у меня есть URL,...
В моем robots.txt у меня есть это: Disallow: /lo lo - это каталог со сценарием, который я хочу...
Редактировать: я узнал, что моя ошибка не связана с файлом роботов. Игнорирование. Я только что...
Я пытаюсь выяснить, что добавить в мой файл robots.txt? Конкретно, что делает команда Allow: /$...
Я хочу запретить роботам сканировать любую папку в любом месте в URL с именем: this-folder. Примеры...
Я создаю на своем сайте две страницы, которые очень похожи, но служат разным целям. Один из них -...
Работа над приложением для разбора robots.txt. Я написал сам метод, который извлек файл из...
Я хотел бы получить все URL-адреса, на которые ссылается сайт (в одном домене), без загрузки всего...
Лучше ли использовать метатеги * или файл robots.txt для информирования пауков / сканеров о...
Как возможно, что моя страница /admin/login.asp найдена в Google с запросом «inurl: admin / login
При создании Webiste я создал robot.txt на сервере, чтобы предотвратить попадание еще не...
Я хочу запретить все файлы и папки на моем сайте от ботов SE, кроме специальной папки и файлов в...