Ошибка синтаксического анализатора с использованием модуля Perl XML :: DOM, «ссылка на неверный номер символа» - PullRequest
Новая
       24

Ошибка синтаксического анализатора с использованием модуля Perl XML :: DOM, «ссылка на неверный номер символа»

7 голосов
/ 03 августа 2009

Я полный новичок в Perl, но я уверен, что изучить Perl будет проще, чем понять, как анализировать XML в awk. Я хотел бы проанализировать файлы .sgm из этого набора данных:

http://kdd.ics.uci.edu/databases/reuters21578/reuters21578.html

Это сборник из 20 000 статей Reuters, опубликованный на ленте новостей десятилетней давности, и стандартный набор тестов для определенных типов обработки текста. Чтобы упростить тестирование на Perl, я взял первые несколько сотен строк из первого файла и создавал test.sgm, пока мой скрипт не сработал корректно. Это начинается так: 

<!DOCTYPE lewis SYSTEM "lewis.dtd">
<REUTERS TOPICS="YES" LEWISSPLIT="TRAIN" CGISPLIT="TRAINING-SET" OLDID="5544" NEWID="1">
<DATE>26-FEB-1987 15:01:01.79</DATE>
<TOPICS><D>cocoa</D></TOPICS>
<PLACES><D>el-salvador</D><D>usa</D><D>uruguay</D></PLACES>
<PEOPLE></PEOPLE>
<ORGS></ORGS>
<EXCHANGES></EXCHANGES>
<COMPANIES></COMPANIES>
<UNKNOWN> 
&#5;&#5;&#5;C T
&#22;&#22;&#1;f0704&#31;reute
u f BC-BAHIA-COCOA-REVIEW   02-26 0105</UNKNOWN>
<TEXT>&#2;
<TITLE>BAHIA COCOA REVIEW</TITLE>
<DATELINE>    SALVADOR, Feb 26 - </DATELINE><BODY>Showers continued throughout the week in
the Bahia cocoa zone, alleviating the drought since early
January and improving prospects for the coming temporao,...

Я использовал Perl-скрипт из http://www.xml.com/pub/a/2001/05/16/perlxml.html в качестве примера и закончил этим, extract.pl:

use XML::DOM;

my $file = $ARGV[0];

my $parser = XML::DOM::Parser->new();
my $doc = $parser->parsefile($file);

#print $doc->getElementsByTagName('DATE');

print "\n";

и я получаю этот вывод: 

> perl extract.pl test.sgm

reference to invalid character number at line 11, column 0, byte 343 at /usr/lib64/perl5/vendor_perl/5.8.5/x86_64-linux-thread-multi/XML/Parser.pm line 187
>

Google не помогает (на первый взгляд это страница с такой же ошибкой, как и я), и мой друг-хакер Perl все еще находится в Blackhat в Вегасе. Есть идеи, что я делаю не так, или как мне почистить файл? Я предполагаю, что внутри этого тега «Неизвестно» происходит зло, которое мне даже не нужно. Я действительно просто хочу извлечь текст из каждой статьи. Если вам нужна дополнительная информация, пожалуйста, дайте мне знать.

1 Ответ

7 голосов
/ 03 августа 2009

Цифровая символьная ссылка "" недопустима в допустимых XML-документах. Я отсылаю вас к разделу 4.1 Ссылки на символы и сущности в рекомендации XML:

Символы, упоминаемые с использованием ссылок на символы, ДОЛЖНЫ соответствовать произведению для Char.

Теперь, если мы перейдем по ссылке и посмотрим на производство для Char :

Char :: = # x9 | #xA | #xD | [# x20- # xD7FF] | [# xE000- # xFFFD] | [# X10000- # x10FFFF]

мы видим, что есть некоторые символы, которые могут появляться ни в буквальном смысле, ни в виде числовой ссылки на символ в действительном документе XML.

Странность это; Сегодня я кое-что узнал о XML:).

См. Этот диалог по Управляющим символам ASCII в XML для возможного обходного пути.

...