Я хотел бы определить (на стороне сервера), какие запросы поступают от ботов. На данный момент меня...

Мы фактически много раз сжигали статические / архивные копии наших сайтов asp.net для клиентов. Мы...

Я привык создавать некоторые сканеры для компиляции информации, и когда я захожу на веб-сайт, мне...

Я хочу сканировать сайт с помощью Greasemonkey и спрашивать, есть ли лучший способ временно...

Я управляю небольшим веб-сервером, и в последнее время его разводил паук поисковой системы. Как...

Я исследовал паутинга и думаю, что это слишком сложно для довольно простого приложения, которое я...

Я узнал, почему Request.Browser.Crawler всегда ложен в C # (http://www.digcode.com/default.aspx

Положение: Сайт с контентом, защищенным именем пользователя / паролем (не все контролируются, так...

Друг случайно удалил свою базу данных форума. Что обычно не было бы большой проблемой, за...

Как я могу использовать Watin, чтобы получить список доступных кнопок на веб-сайте? Как это делает...

Я пишу базовый сканер, который просто кэширует страницы с помощью PHP. Все, что он делает, это...

Я пишу сканер на Python, чтобы Ctrl + C не заставлял мой сканер запускаться заново при следующем...

Я хочу найти (не генерировать) 2 текстовые строки, чтобы после удаления всех не букв и символов,...

Наша команда SEO хотела бы открыть нашу главную страницу результатов динамического поиска для...

По сути, я хочу сделать паук на своем локальном сайте и создать список всех заголовков и...

Я хотел бы реализовать поисковую систему, которая должна сканировать набор веб-сайтов, извлекать...

Игнорируя случай IE, есть ли другие браузеры, которые не могут понять тип содержимого application /...

Я однажды написал Crawler в .NET. Чтобы улучшить его масштабируемость, я попытался воспользоваться...

Какие есть варианты для обнаружения веб-сканеров, которые не хотят быть обнаруженными? (Я знаю, что...

У меня есть несколько промежуточных серверов в общедоступном интернете, на которых запущены копии...

Как работает свойство HttpBrowserCapabilities.Crawler (http://msdn.microsoft

Наше приложение (C # /. NET) требует много запросов для поиска. Политики Google в 50000 в день...

У нас есть Ultraseek 5.7, индексирующий контент на нашем корпоративном сайте в интрасети, и мы...

Я подумываю о разработке веб-поисковой системы с использованием Erlang, Mnesia & Yaws. Можно ли...

Я собираюсь создать контент-сайт, возможно, с тысячами различных записей, доступных по индексу и...