Как я могу запретить в robots.txt индексирование страниц http://example.net/something,category1.php...

Моя структура URL настроена на две параллели (обе ведут в одно и то же место): www.example

Я пытаюсь взять список URL-адресов и загрузить содержимое каждого URL-адреса (для индексации).Самая...

Мне сказали понять, как максимизировать видимость будущего веб-приложения, которое изначально...

Я хочу запретить роботам получать доступ к URL-адресам, которые заканчиваются на /new. Я изменяю...

У меня есть этот друпал-сайт, который вращается вокруг базы данных документов. По своему дизайну вы...

Я использую ASP.net с C #. Чтобы повысить возможность поиска моего сайта в Google, я произвел поиск...

У меня есть следующий файл robots.txt User-agent: * Disallow: /images/ Sitemap: http://www.example

Что делает файл robots.txt в проекте PHP?

Или вообще запретить индексацию всего сайта?

У меня есть сайт, где пользователи могут войти в свой профиль и защитить паролем определенные...

Я искал в Google, но не могу найти ответ на этот вопрос. Файл robots.txt может содержать следующую...

наш сайт разработан в ASP.NET. Мы хотим заблокировать страницу Default.aspx от Google и других...

Я недавно отредактировал файл robots.txt на своем сайте, используя плагин wordpress. Однако, с тех...

Привет, господа, как лучше всего запретить Google показ папки в поисковой системе? Например, www

Я недавно начал изучать PHP, но у меня есть широкие знания по C ++. Мне было интересно, как сделать...

Должен ли я тогда сделать Пользователь-агент: * Запретить: / это так просто? или это тоже не будет...

Какой самый короткий способ заблокировать * и позволить только основным поисковым системам...

Я создаю форум для веб-сайта и планирую реализовать функцию «Сообщить об этом контенте». Честно...

У меня есть сайт, на котором есть целый ряд устаревших ссылок, которые теперь необходимо...

У меня есть большой каталог отдельных имен вместе с общедоступной общедоступной и специфичной для...

Я использую онлайн-генератор карт сайта , который генерирует ссылки даже для которых заблокированы...

Если я хочу разрешить сканерам доступ только к index.php, будет ли это работать? User-agent: *...

Похоже, нам скоро придется начать балансировку нагрузки наших веб-серверов. У нас есть запрос...

У меня есть сайт Plone, который я администрирую, и я хотел бы добавить несколько страниц в Disallow...