Как найти контекст абзаца, с помощью BERT?

Question

Я ищу способ запустить простой пример с BERT. Как проанализировать контекст с помощью Google BERT? https://github.com/google-research/bert Например, у меня есть параграф текста в Википедии и предварительно обученная модель BERT от Google. Как передать абзац в BERT и получить текстовое представление основного контекста? Спасибо!

EDTED:

Пример: у нас есть параграф

"Я ищу способ запустить простой пример с помощью BERT. Как анализировать контекст с помощью Google BERT? https://github.com/google-research/bert Например, у меня есть параграф текста в Википедии и предварительно обученный BERT. Модель от Google. Как передать абзац в BERT и получить текстовое представление основного контекста? Спасибо! "

Контекст должен быть «Как анализировать контекст с помощью Google BERT?» или «Как анализировать»

Проблема для меня состоит в том, чтобы выяснить, как научить модель подбирать основное предложение из других. ^ пример выше.

Другая проблема: как работать с документами больше 512 токенов?

Спасибо!

Answer 1

Они уже натренировали его на наборе данных SQuAD для задания по ответу на вопрос, которое представляет собой последовательность для выполнения задачи, подобной вашей. Таким образом, вы можете просто настроить его с правильным набором данных (возможно, для суммирования текста).