Как использовать предварительно обученную модель BERT для маркировки следующего предложения?

Question

Я новичок в искусственном интеллекте и НЛП. Я хочу проверить, как работает Берт. Я использую предварительно обученную модель BERT: https://github.com/google-research/bert

Я запустил пример extract_features.py, описанный в параграфе функций извлечения в readme.md. Я получил векторы, как вывод.

Ребята, как преобразовать результат, который я получил в extract_features.py, чтобы получить следующий / не следующий ярлык?

Я хочу запустить bert, чтобы проверить, связаны ли два предложения, и посмотреть результат.

Спасибо!

Answer 1

Я не уверен, как вы можете сделать это в tenorflow. Но в реализации pythorch, обнимающей лицо https://github.com/huggingface/pytorch-pretrained-BERT/blob/master/pytorch_pretrained_bert/modeling.py#L854, есть модель BertForNextSentencePrediction.