Что это значит, когда я вижу, как некоторые IP-адреса просматривают сотни страниц на моем сайте?

Question

Что мне делать, когда я вижу некоторые IP-адреса в моих журналах, пролистывающих сотни страниц на моем сайте? У меня есть WordPress блог, и кажется, что это не настоящий человек. Это происходит почти ежедневно с разными IP-адресами.

ОБНОВЛЕНИЕ: О, я забыл упомянуть, я почти уверен, что это не паук поисковой системы. Имя хоста не поисковик, а какой-то случайный человек из Индии (оканчивается на «.in»). Что меня беспокоит, если это скребок, могу ли я что-нибудь сделать? Или это может быть что-то хуже, чем скребок, например хакер?

Answer 1

Это паук / гусеничный. Поисковые системы используют их для составления своих списков, исследователи используют их для выяснения структуры Интернета, Интернет-архив использует их для загрузки содержимого Интернета для будущих поколений, спамеры используют их для поиска адресов электронной почты и многие другие. больше таких ситуаций.

Проверка строки агента пользователя в ваших журналах может дать вам больше информации о том, что они делают. Боты с хорошим поведением, как правило, указывают, кто / что они - например, поисковые роботы Google называются Googlebot.

Answer 2

Если вы беспокоитесь о детях сценариев, я предлагаю проверить ваши журналы ошибок. Сценарии часто ищут вещи, которых у вас может не быть; например в одной системе, которую я запускаю, у меня нет ASP, однако я могу сказать, когда сценарий детишки исследовал сайт, потому что я вижу множество попыток найти страницы ASP в моих журналах ошибок.

Answer 3

Вероятно, это бот-паук, индексирующий ваш сайт. «Пользователь-агент» может выдать его. Можно легко получить сотни запросов GET для динамически генерируемого сайта Wordpress, если это не все страницы блога, а включает в себя такие вещи, как css, js и images.

Answer 4

Вероятно, какой-то сценарий-детишка хочет воспользоваться уязвимостью в вашем блоге (или сервере). Это или какой-то веб-сканер.