Повреждены ли тезисы в enwiki-latest-abstract. xml .gz? - PullRequest
Новая
       19

Повреждены ли тезисы в enwiki-latest-abstract. xml .gz?

0 голосов
/ 27 апреля 2020

Я просматривал дамп файла wikimedia abstracts (enwiki-latest-abstract. xml .gz) за последнюю неделю и заметил, что тезисы для многих элементов выглядят поврежденными.

Например, страница википедии для Алабама содержит следующий демпинговый реферат: 

<title>Wikipedia: Alabama</title>
<url>https://en.wikipedia.org/wiki/Alabama</url>
<abstract>(We dare defend our rights)</abstract>

Аналогично, аннотация для элемента Авраама Линкольна : 

<title>Wikipedia: Abraham Lincoln</title>
<url>https://en.wikipedia.org/wiki/Abraham_Lincoln</url>
<abstract>| term_start1 = March 4, 1847</abstract>

Похоже, что это частичный фрагмент из инфобокса.

Похоже, что такого рода искажения присутствуют в большинстве статей в enwiki-latest-abstract. xml .gz.

Буду признателен за любые советы по поводу того, это ошибка или есть ли у меня недопонимание по поводу этого файла дампа.

Спасибо!

1 Ответ

1 голос
/ 28 апреля 2020

Вероятно, это просто код извлечения , ведущий себя плохо; это не очень сложно.

В Википедии FWIW есть два разных API извлечения / суммирования, которые оба здесь выглядят разумно (более старый, основанный на API. php, немного сломан, но не полностью сломан):

https://en.wikipedia.org//w/api.php?action=query&format=jsonfm&prop=extracts&titles=Alabama%7CAbraham%20Lincoln&exsentences=1&exintro=1&explaintext=1

Алабама () - штат в юго-восточном регионе США.

Авраам Линкольн (; 12 февраля , 1809 г., 15 апреля 1865 г.) был американским государственным деятелем и юристом, который занимал пост 16-го президента США (1861 г.).

https://en.wikipedia.org/api/rest_v1/page/summary/Alabama

Алабама - штат в юго-восточном регионе США. Он граничит с Теннесси на севере, Джорджией на востоке, Флоридой и Мексиканским заливом на юге и Миссисипи на западе. Алабама является 30-й по величине по площади и 24-м по численности населения из штатов США. Имея в общей сложности 1500 миль (2400 км) внутренних водных путей, Алабама имеет среди большинства любого штата.

https://en.wikipedia.org/api/rest_v1/page/summary/Abraham_Lincoln

Авраам Линкольн был американским государственным деятелем и адвокат, который занимал пост 16-го президента Соединенных Штатов (1861–1865). Линкольн провел нацию через самый большой моральный, конституционный и политический кризис в американской гражданской войне. Он сохранил Союз, отменил рабство, укрепил федеральное правительство и модернизировал экономику США.

Ни у одного из них нет свалок.

...