Я написал веб-сканер, который должен сканировать все гиперссылки под одним доменным именем. Я...

Я пытаюсь сканировать DBpedia с Apache Nutch 1.15, но у меня возникают проблемы с анализом...

Я очень часто сканирую сайты со скоростью сотен запросов в час. Как сделать поведение сканера более...

Я создал виджет для веб-сайтов, который асинхронно загружается после загрузки страницы:...

Я хочу создать свое собственное приложение для поисковой системы, где все результаты отображаются...

Я столкнулся с вопросом на собеседовании «Если бы вы разрабатывали веб-сканер, как бы вы не попали...

Я работаю над проектом, в котором нам нужно найти набор сетевых дисков, чтобы проверить каждый файл...

Мне нужно предоставить доступ к частной вики сканеру. Вики закрыта для всех анонимных пользователей...

текст ссылки Это ссылка из библиотеки цифровых книг. Для перехода на следующую и предыдущую...

Мой босс недавно пришел ко мне с проблемой безопасности. Моя компания проводит исследования, а...

У меня есть приложение, которое пауков веб-сайтов для информации. Кажется, что после 20-45 минут...

Я хочу запретить все файлы и папки на моем сайте от ботов SE, кроме специальной папки и файлов в...

Я ищу приложение или скрипт для Linux или Mac OS X, чтобы получить файлы HTML набора URL-адресов...

я хочу знать, где хранятся просканированные файлы в веб-сканере Heritrix ... спасибо и заранее

Я пытаюсь понять, как я могу сделать так, чтобы мой сайт был доступен из пауков поиска картинок...

Три месяца назад я опубликовал свой небольшой персональный веб-сайт (~ 10 страниц), отправил...

Ситуация: Google проиндексировал страницу на форуме. Тема теперь удалена. Как / можно ли заставить...