Я настроил многоязычную базовую модель BERT на основе набора данных SQUAD 2.0 (английский) для модели вопросов и ответов. Обученная модель отлично работает на данных тестов по английскому языку. Но english_trained_model плохо работает на других языках, поддерживаемых BERT. Например, голландский, испанский и т. Д.
Я знаю, что это ожидаемо, но я не очень уверен в точной причине такого поведения. Может кто-нибудь любезно объяснить.
Я ожидал, что это сработает, потому что: -
1) Дополнительный слой, который обучается во время тонкой настройки, не зависит от языка ввода, т. Е. BERT уже изменил входной абзац / предложение на вид карты внимания, основанный на поддерживаемом языке, прежде чем он достигнет нового слоя будучи обученным.
Заранее спасибо за объяснение.