Написание бота без GUI с использованием Mozilla Framework - PullRequest
Новая
       14

Написание бота без GUI с использованием Mozilla Framework

1 голос
/ 24 июня 2009

Я ищу способ написать бота без GUI, используя Mozilla Framework. Бот должен быть в состоянии работать как обычный браузер (автоматически загружать соответствующие файлы JS, выполнять запросы XMLHTTP, выполнять операции JS, изменять DOM), за исключением того, что графический интерфейс пользователя не потребуется.

Интересно, можно ли собрать XULRunner без X, GTK / KDE (без каких-либо зависимостей GUI), так как я буду запускать бота на сервере FreeBSD 6.4.

Это может звучать немного странно, но мне нужен бот, способный работать как браузер, запускать JS, модифицировать DOM, отправлять формы, работающие в средах без GUI.

Я просматривал другие браузеры, такие как Lynx, Links, Hulahop, движок Chrome V8, WebKit JavascriptCore, но пока не нашел желаемого результата.

Это часть школьного проекта, дипломная работа. Мы будем использовать для наблюдения за изменением цен бюджетных авиакомпаний, и после сбора данных в течение одного года нам нужно определить стратегию ценообразования и поведение клиентов. Это серьезный проект последнего года.

Любая подсказка или помощь с благодарностью! Заранее спасибо!

Привет.

Ответы [ 2 ]

3 голосов
/ 24 июня 2009

Вы должны быть в состоянии прогрессировать с селеном . Это инструмент записи / тестирования / воспроизведения, но его ядро ​​манипулирует DOM.

Обновление от Комментарий Grundlefleck : Что касается запуска реальных тестов, то есть selenium remote-control , который позволяет вам писать свои тесты на Java , Ruby, обычный HTML и другие возможные драйверы.

1 голос
/ 24 июня 2009

  1. Да, это возможно (но вполне может потребоваться МНОГО изменений кода).

  2. Нет, я не знаю деталей.

  3. Я бы не рекомендовал этот подход для ваших целей. Из вашего комментария звучит так, будто вы пытаетесь почистить веб-страницы. Если вам действительно нужно использовать JavaScript, вы можете использовать автономный JavaScript-движок (Mozilla доступен здесь здесь ). В противном случае я бы использовал Beautiful Soup с Python или Twill . Вы также можете прочитать этот вопрос .

...