Что это значит, когда я вижу, как некоторые IP-адреса просматривают сотни страниц на моем сайте? - PullRequest
0 голосов
/ 28 мая 2009

Что мне делать, когда я вижу некоторые IP-адреса в моих журналах, пролистывающих сотни страниц на моем сайте? У меня есть WordPress блог, и кажется, что это не настоящий человек. Это происходит почти ежедневно с разными IP-адресами.

ОБНОВЛЕНИЕ: О, я забыл упомянуть, я почти уверен, что это не паук поисковой системы. Имя хоста не поисковик, а какой-то случайный человек из Индии (оканчивается на «.in»). Что меня беспокоит, если это скребок, могу ли я что-нибудь сделать? Или это может быть что-то хуже, чем скребок, например хакер?

Ответы [ 4 ]

4 голосов
/ 28 мая 2009

Это паук / гусеничный. Поисковые системы используют их для составления своих списков, исследователи используют их для выяснения структуры Интернета, Интернет-архив использует их для загрузки содержимого Интернета для будущих поколений, спамеры используют их для поиска адресов электронной почты и многие другие. больше таких ситуаций.

Проверка строки агента пользователя в ваших журналах может дать вам больше информации о том, что они делают. Боты с хорошим поведением, как правило, указывают, кто / что они - например, поисковые роботы Google называются Googlebot.

2 голосов
/ 28 мая 2009

Если вы беспокоитесь о детях сценариев, я предлагаю проверить ваши журналы ошибок. Сценарии часто ищут вещи, которых у вас может не быть; например в одной системе, которую я запускаю, у меня нет ASP, однако я могу сказать, когда сценарий детишки исследовал сайт, потому что я вижу множество попыток найти страницы ASP в моих журналах ошибок.

0 голосов
/ 28 мая 2009

Вероятно, это бот-паук, индексирующий ваш сайт. «Пользователь-агент» может выдать его. Можно легко получить сотни запросов GET для динамически генерируемого сайта Wordpress, если это не все страницы блога, а включает в себя такие вещи, как css, js и images.

0 голосов
/ 28 мая 2009

Вероятно, какой-то сценарий-детишка хочет воспользоваться уязвимостью в вашем блоге (или сервере). Это или какой-то веб-сканер.

...