Написание модульного агрегатора и нормализатора на Perl - PullRequest
7 голосов
/ 17 августа 2011

Я только что вошел в среду, где я гораздо свободнее выбирать любой подход к проекту, который мне нужен (имеется в виду полный доступ к CPAN и отсутствие одобрения модулей комитетом), но я немного не в курсе новых проблем, поэтому я подумал, что буду искать идеи здесь.

Мой проект включает в себя очистку нескольких источников с различными форматами (html, сжатый текст, csv и т. Д.), А затем их обработку в каком-либо хранилище данных. Извлечение должно происходить с программируемыми интервалами, и я хотел бы сделать модуль модульным, чтобы аналогичные источники могли использовать одну и ту же кодовую базу. Он также должен иметь возможность отвечать через Интернет с простым состоянием запущенных процессов (ничего особенного). Я подумал, что POE может быть хорошей идеей, когда несколько процессов коллектора отчитываются перед одним мастером, но есть ли какие-то особые модули в POE (или где-либо еще), на которые кто-то думает, что мне стоит взглянуть?

1 Ответ

1 голос
/ 17 августа 2011

WWW :: Mechanize - отличный модуль для получения информации с веб-страниц.
Он позволяет вам входить на веб-сайты, предоставляя логин и пароль, позволяет отправлять формы и т. Д.

Вы можете найти больше информации по адресу: http://metacpan.org/pod/WWW::Mechanize

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...