Является ли Java / 1.6.0_24 ботом и как заставить их обновить ссылку? - PullRequest
Новая
       38

Является ли Java / 1.6.0_24 ботом и как заставить их обновить ссылку?

0 голосов
/ 02 мая 2011


Теперь у нас есть множество сайтов, все из которых используют базовую структуру регистрации ошибок log4net, и мы получаем ошибки с сайта из любого места, где он добавляется.Мы заметили, что некоторые из них ловят ошибку из-за «бота», как Google, Bing, Yahoo и т. Д. Но есть вещи, которые мы не уверены, как решить.У меня есть два вопроса по этому поводу:

  1. Является ли "Java / 1.6.0_24" ботом?Потому что пользователь-агент моего вопроса №2 об этом.
  2. "Java / 1.6.0_24" все еще вызывает подпапку на нашем сайте, которая просто не существует!Например, если у нас есть страница с именем «Page1.aspx», вместо вызова «~ / Page1.aspx», он называет ее «~ / minisite / Page1.aspx».Как я могу сказать ему, что он неправ?Есть ли способ сделать это?

Спасибо вам

1 Ответ

1 голос
/ 02 мая 2011

  1. Скорее всего, это бот, но это также может быть какой-то браузер на основе Java, который отправляет эту строку пользовательского агента - вы не можете доверять ей на 100%, но она может дать вам приблизительное представление о том, что связующий объект есть. В зависимости от типа бота, он может просто проигнорировать ваш robots.txt, поэтому я просто где-то затрудню обработку некоторых вещей.

  2. Эти папки когда-либо существовали? Если это так, вы можете использовать постоянное перенаправление HTTP (код 301), чтобы сказать ему больше не смотреть туда - однако это не гарантирует, что это так и будет.

...