Модель связывания предварительно обученных сущностей для Википедии / WikiData

Question

У меня есть несколько 34000 обзоров ресторанов на английском языке, чтобы выполнить связывание сущностей, и я ищу какое-то масштабируемое решение.

Есть ли какая-то предварительно обученная модель для связывания сущностей с Wikipedi / WikiData KB?

• Spacy недавно начал поддерживать Entity Linking 1 , 2 , 3 , но они не предоставляют предварительно подготовленную модель для этого и некоторых людей. report обучение занимает не менее недели .
• Wikifier имеет предварительно обученную модель, которую можно использовать для связывания сущностей через службу REST, но я не знаю, что их предел скорости для моего количества текстов и как он масштабируется. Следовательно, я бы предпочел автономное решение.

Answer 1

Для загрузки доступны две реализации, Illinois Wikifier 1.0 и 2.0 здесь , описанные в следующих публикациях

• Local и Global Алгоритмы устранения неоднозначности в Википедии Лев Ратинов, Дэн Рот и Даг Дауни и Майк Андерсон, ACL - 2011

• Реляционный вывод для викификации , Сяо Чен и Дэн Ротм, EMNLP - 2013

Я попробовал первый и получил хорошие результаты. Это определенно не готовое к работе программное обеспечение: иногда проблемы с памятью накапливаются, что приводит к Java проблемам с кучей памяти, но я смог добавить возможность возобновления сбойных задач, и теперь она прекрасно работает.