Я обнаружил веб-страницу с исходным кодом, в которой первая строка имеет вид: <!--...
Я хочу запретить сбор данных на моем сайте (кроме googlebot, конечно). Я полагаю, что полагаться на...
Что касается спецификации сканирования AJAX от Google, если сервер возвращает одну вещь (а именно...
Инструменты Google для веб-мастеров сообщают о 403 ошибках для некоторых папок на сервере...
У меня есть сайт (Rails), и я хочу поисковым системам сканировать и индексировать его.Тем не менее,...
У меня следующий формат URL: example.com/page/m6aoeh/embed Я хочу заблокировать ботов от индексации...
Я получил тонну этих исключений в моем журнале событий. EVENT ID: 1309 Event code: 3005 Event...
Возникли проблемы с корректной перепиской моего мода для Google seo. www.example.com / p / press...
У меня есть сайт объявлений.На этом веб-сайте я храню в базе данных каждую страницу продукта,...
На моем сайте я вижу этого "странного" агента пользователя: Mozilla / 5.0 + (iPhone + U + CPU +...
Я получил огромное количество НЕ НАЙДЕННЫХ ссылок в инструменте Google для веб-мастеров. Похоже,...
Когда гуглбот сканирует страницы, есть ли у него сессия?Например, я храню некоторые переменные в...
Какой самый надежный и быстрый способ определить сканер Googlebot? rDNS может быть подделан,...
Например, у меня есть следующая ссылка: http://broodds.com/index.php/en/component/bet/
У меня есть следующая функция для получения последней даты доступа googlebot: <code>//get...
Googlebot получает доступ к .aspx страницам на моем веб-сайте, например, http://mysite.com/thepage
Я получаю тонны запроса.Все они начинаются с /1.1/handlers/monodoc.ashx?link= , а затем следуют...
Я создал сайт на основе Ajax-навигации. Я построил его таким образом, что всякий раз, когда кто-то...
Мы внедрили новую функцию «Количество посещений» на нашем сайте, которая сохраняет строку в нашей...
Для определенной группы страниц на моем сайте я отправляю Google Analytics виртуальный просмотр...
Я хотел бы знать, возможно ли разбивать страницы на страницы с помощью курсоров и одновременно...
Я использую Rack::Cache, и поисковый робот Google запускает все пропуски в моем кеше, поэтому в...
Я создал связанный со здоровьем сайт на основе Joomla. Я создал учетную запись Google Webmasters и...
Если эта проблема возникла уже несколько месяцев, и я подумал, что я показал Googlebot в ранних...
У меня есть apache перед zope 2 (несколько виртуальных хостов) с использованием стандартного...