Как очистить веб-страницы в другом формате / макете? - PullRequest
Новая
       9

Как очистить веб-страницы в другом формате / макете?

1 голос
/ 28 октября 2009

Мне нужно почистить отчеты формы 10-K (то есть годовые отчеты американских компаний) со сайта SEC для проекта.

Проблема в том, что компании не используют точно такой же формат для подачи этих данных. Так, например, данные по недвижимости для 2 разных компаний могут отображаться как показано ниже 

1st company

Property name   State  City     Ownership   Year  Occupancy Total Area
-------------   -----  ------   ---------   ----  --------- ----------
ABC Mall         TX    Dallas   Fee         2007    97%       1,347,377
XYZ Plaza        CA    Ontario  Fee         2008    85%       2,252,117



2nd company

Property          % Ownership  %Occupany  Rent   Square Feet
---------------   -----------  ---------  -----  -----------
New York City
  ABC Plaza       100.0%        89.0%     38.07    2,249,000 
  123 Stores      100.0%        50.0%     18.00    1,547,000 
Washington DC Office
  12th street     .......
  2001, J Drive   .......

etc.

Аналогично, расположение данных может быть совершенно другим для других компаний.

Я хотел бы знать, существуют ли более эффективные способы очистки этого типа разнородных данных, кроме написания сложных запросов регулярных выражений.

У меня есть свобода использовать Java, Perl, Python или Groovy для этой работы.

1 Ответ

3 голосов
/ 28 октября 2009

Я был бы склонен хранить библиотеку метафайлов, которые описывают макет каждой страницы, с которой вы хотите очистить данные, и использовать ее при попытке получить данные.

Таким образом, вам не нужны сложные команды reg-ex, и если сайт меняет свой дизайн, вы просто меняете один из ваших файлов.

Как вы решите создать метафайл, зависит только от вас, но такие вещи, как имена подходящих классов или теги, могут быть хорошим началом.

затем опишите, как извлечь данные из этого тега.

Не уверен, что есть инструмент, который делает все это.

Другой, более приятный способ - связаться с владельцами этих сайтов и посмотреть, предоставляют ли они канал в форме веб-сервиса или что-то, что вы можете использовать для получения данных. Я экономлю на душевных страданиях.

...