Мне нужно запретить http://example.com/startup?page=2 поисковым страницам индексироваться. Я хочу...

У меня есть куча отлаженных ссылок, которые делают такие вещи, как голосование вверх, голосование...

Используя robot.txt, можно ли ограничить доступ робота для (определенных) значений строки...

В настоящее время я генерирую файл карты сайта динамически, используя HttpHandler, с путем,...

Помощь Помощь! Google проиндексировал на моем веб-сайте тестовую папку, о которой никто, кроме меня...

в моем файле robots.txt, у меня есть следующая строка Пользователь-агент: Googlebot-Mobile...

У меня есть ссылки с этой структурой: http://www.example.com/tags/blah http://www.example

Есть ли способ настроить robots.txt так, чтобы сайт принимал посещения ТОЛЬКО от Google, Yahoo! а...

Короткий вопрос: Есть ли у кого-нибудь код C # для анализа robots.txt, а затем для оценки...

В прошлом я бывал, что один из наших ИТ-специалистов случайно переместил robots.txt с производства....

Просто хотел узнать, можно ли запретить весь сайт для сканеров и разрешить только определенные...

Наша команда SEO хотела бы открыть нашу главную страницу результатов динамического поиска для...

Я заметил на своих трекерах, что боты посещают мой сайт ALOT. Должен ли я изменить или...

Скажем, у меня есть сайт на http://example.com. Мне бы очень хотелось, чтобы боты могли видеть...