Хорошо, поэтому я пишу приложение на PHP, чтобы проверить мои сайты, если все ссылки действительны,...

Я использую Ruby Gem 'Rawler' для документирования любых неработающих ссылок на большом веб-сайте....

Я недавно пытался создать программу обновления для моей программы.Предполагается, что средство...

Я пытаюсь автоматически загрузить некоторые PDF-файлы на сайт (http://bibliotecadigitalhispanica

Если можно прочитать информацию с веб-сайта, который организован с использованием...

Я пытаюсь создать программу, которая откроет текстовый файл с URL-адресами, разделенными |.Затем он...

Интересно, возможно ли следующее: У меня есть URL, и это, по сути, каталог, который содержит...

У нас есть система, написанная со скрэпом, для сканирования нескольких сайтов. Существует несколько...

Я работал над основным веб-сканером в Python, используя класс HTMLParser.Я получаю свои ссылки с...

Я хочу использовать scrapy для сканирования веб-страниц. Есть ли способ передать стартовый URL из...

Я поместил пакет на PyPi впервые ~ 2 месяца назад, и с тех пор произвел некоторые обновления версии

Я собираюсь написать приложение Gui, основанное на scrapy, где пользователь вводит URL-адрес...

Я использую crawler4j для сканирования веб-сайта.Когда я захожу на страницу, я хотел бы получить...

У меня есть несколько пауков в одном проекте Scrapy. Я хочу написать отдельный выходной текстовый...

Я студент, изучающий интеллектуальный анализ данных.И я столкнулся с проблемой. Для анализа я...

Я хочу создать сканер java-скриптов, который получает назначение от php-сервера и затем индексирует...

Я уже месяц работаю с Nokogiri, REXML & Ruby. У меня есть гигантская база данных, которую я пытаюсь...

Кто-нибудь знает какой-либо доступный код для паука на сайте, отслеживания переходов,...

Я хочу использовать модуль Python Scrapy , чтобы очистить все URL с моего сайта и записать список в...

У меня есть одна ссылка со многими внешними ссылками внутри, когда при запуске процесса извлечения...

Я пытаюсь использовать Mechanize Ruby для входа на сайт. Я посмотрел каждый пример на этом сайте,...

В документах говорится, что я могу выполнить только команду обхода внутри dir проекта: scrapy crawl...

Я хочу создать веб-паука, который сможет получить некоторую полезную информацию с другого веб-сайта

Не знаю, где еще спросить, но изо дня в день мой сайт Wordpress получает 500 спам-комментариев в...

Учитывая страницу типа this , я пытаюсь извлечь весь текст ответа с помощью поискового робота ruby....