Разбор неструктурированных документов в XML

Question

Я анализирую неструктурированные документы в структурированное представление (XML), используя шаблон для описания ожидаемого результата. Простая типичная проблема может быть списком строк:

"Chapter 1"
"Section background"
"this is something"
"this is another"
"Section methods"
"take some xxx"
"do yyy"
"and some..."
"Chapter apparatus"
"we created..."

который я хочу преобразовать в:

<div role="CHAPTER" title="1">
  <div role="SECTION" title="background">
    <p>this is a paragraph...</p>
    <p>this is another...</p>
  </div>
  <div role="SECTION" title="methods">
    <p>take some xxx</p>
    <p>do yyy</p>
    <p>and some...</p>
  </div>
</div>
<div role="CHAPTER" title="apparatus">
  <div role="SECTION" title="???">
    <p>we created...</p>
  </div>
</div>

Метки CHAPTER и SECTION отсутствуют в строках, но генерируются из эвристических регулярных выражений (например, "[Cc]hap(ter)?(\s\d+\.)?.*") и применяются ко всем строкам.

Предполагаемый результат описывается «шаблоном», который в настоящее время выглядит примерно так:

<template count="0," role="CHAPTER">
  <regex>[Cc]hap(ter)?(\s+.*)</regex>
  <template count="0," role="SECTION">
   <regex>[Ss]ec(tion)?(\s+.*)</regex>
    <template count="0," role="p">
     <regex>.*</regex>
    </template>
  </template>
</template>

(в некоторых случаях значения могут быть диапазонами, например 2,4).

Я знаю, что это очень сложная проблема (SGML пытался решить ее части), и что реальные документы не соответствуют аккуратно таким шаблонам, поэтому я готов к частичному анализу, а также к потере некоторой точности и отзыву.

В течение нескольких лет я использовал свой собственный рабочий код, который работает с документами размером до нескольких мегабайт в разных типах. Производительность не проблема. У меня есть разные шаблоны для разных типов документов (тезисы, файлы журналов, вывод на фортран и т. Д.). Некоторые документы имеют вложенную структуру (например, как указано выше), в то время как другие более плоские, но имеют много других типов разметки.

Я сейчас рефакторинг и удивляюсь:

• есть ли набор инструментов с открытым исходным кодом, который решает эту проблему? (желательно Java)
• если нет, могу ли я использовать стратегию группировки XSLT2 в сочетании с регулярными выражениями
• или я должен использовать автомат? Если это так, я должен использовать инструментарий или написать свой собственный?

РЕДАКТИРОВАТЬ: @naspinski и вообще. Всегда можно написать конкретный код сценария для решения конкретных проблем. Я хочу общее решение, поскольку я могу анализировать многие (даже миллионы) документов с заметной (но не бесконечной) изменчивостью структуры. Я хочу, чтобы структура проанализированных документов была выражена в XML, а не в скрипте. Я считаю, что будет проще добавлять новые решения с помощью шаблонов (декларативных), а не сценариев.

РЕДАКТИРОВАТЬ Я почти уверен, что мой лучший подход сейчас заключается в использовании ANTLR. Это мощный инструмент, который из моих первоначальных исследований может анализировать строки и группы линий.

Answer 1

Это та работа, для которой был создан Perl.

#! /opt/perl/bin/perl
use strict;
use warnings;
use 5.10.1;

{
  package My::Full;
  use Moose;
  use MooseX::Method::Signatures;

  has 'chapters' => (
    'is' => 'rw',
    'isa' => 'ArrayRef[My::Chapter]',
    'default' => sub{[]}
  );

  method add_chapter( Str $name ){
    my $chapter = My::Chapter->new( name => "$name" );
    push @{$self->chapters}, $chapter;
    return $chapter;
  }

  method latest(){
    return $self->add_chapter('') unless @{$self->chapters};
    return $self->chapters->[-1];
  }

  method add_section( Str $name ){
    my $latest_chapter = $self->latest;
    $latest_chapter->add_section("$name");
  }

  method add_line( Str $line ){
    $self->latest->add_line( "$line" );
  }

  method xml(){
    my $out = '';
    for my $chapter ( @{ $self->chapters } ){
      $out .= $chapter->xml;
    }
    return $out;
  }
}
{
  package My::Chapter;
  use Moose;
  use MooseX::Method::Signatures;

  has 'name' => (
    'is' => 'rw',
    'isa' => 'Str',
    'required' => 1
  );

  has 'sections' => (
    'is' => 'rw',
    'isa' => 'ArrayRef[My::Section]',
    'default' => sub{[]}
  );

  method latest(){
    return $self->add_section('') unless @{$self->sections};
    return $self->sections->[-1];
  }

  method add_section( Str $name ){
    my $section = My::Section->new(name => "$name");
    push @{$self->sections}, $section;
    return $section;
  }

  method add_line( Str $line ){
    $self->latest->add_line( "$line" );
  }

  method xml(){
    my $name = $self->name;
    $name = '???' unless length $name;

    my $out = qq'<div role="CHAPTER" title="$name">\n';
    for my $section ( @{ $self->sections } ){
      $out .= $section->xml;
    }
    return $out."</div>\n";
  }
}
{
  package My::Section;
  use Moose;
  use MooseX::MultiMethods;

  has 'name' => (
    'is' => 'rw',
    'isa' => 'Str',
    'required' => 1
  );

  has 'lines' => (
    'is' => 'rw',
    'isa' => 'ArrayRef[Str]',
    'default' => sub{[]}
  );

  method add_line( Str $line ){
    push @{$self->lines}, "$line"
  }

  method xml(){
    my $name = $self->name;
    $name = '???' unless length $name;

    my $out = qq'  <div role="SECTION" title="$name">\n';
    for my $line ( @{ $self->lines } ){
      $out .= "    <p>$line</p>\n";
    }
    return $out."  </div>\n";
  }
}

Основной цикл:

my $full = My::Full->new;

while( my $line = <> ){
  chomp $line;

  given( $line ){
    when( /^chap(?:ter)?\s++(.+)/i ){
      $full->add_chapter($1);
    }
    when( /^sec(?:tion)?\s++(.+)/i ){
      $full->add_section($1);
    }
    default{
      $full->add_line($line);
    }
  }
}

say $full->xml

<div role="CHAPTER" title="check">
  <div role="SECTION" title="check">
    <p>this is something</p>
    <p>this is another</p>
  </div>
  <div role="SECTION" title="check">
    <p>take some xxx</p>
    <p>do yyy</p>
    <p>and some...</p>
  </div>
</div>
<div role="CHAPTER" title="check">
  <div role="SECTION" title="???">
    <p>we created...</p>
  </div>
</div>

Answer 2

Я вполне уверен, что ответ, который я ищу, находится в ANTLR (http://www.antlr.org/). Это позволяет мне писать выражения вида:

document : (chapter)+;
chapter : 'Chapter ' DIGIT NEWLINE line+;

и так далее. Это также позволяет встраивать код в эти выражения.

Answer 3

Переход от неструктурированного к структурированному потребует написания синтаксического анализатора с вашей стороны, что достаточно тривиально. Сканируйте первое регулярное выражение, извлекайте данные и генерируйте для них XML-элемент. Затем отсканируйте второе регулярное выражение, извлеките его данные и отправьте в первый созданный вами элемент XML. Затем просмотрите все оставшиеся входные данные, чтобы увидеть, соответствует ли оно регулярному выражению FIRST, если нет, добавьте его во второй созданный вами элемент, в противном случае перезапустите с новым элементом верхнего уровня. Перейдите к EOF и сохраните полученный XML.