Я пытаюсь построить многоязычную классификационную модель с помощью BERT.
Я использую основанный на функциях подход (объединение элементов из топ-4 скрытых слоев) и строю классификатор CNN поверх этого.
После этого я использую разные языки (скажем, китайский) из того же домена для тестирования, но точность для этих языков близка к нулю.
Я не уверен, что я хорошо понимаю бумагу,вот мой вопрос:
Можно ли настроить многоязычную модель BERT на одном языке (например, английском) или использовать подход, основанный на функциях, для извлечения функций и построения классификатора, а затем использовать эту модель дляразные языки (другие языки из списка поддерживаемых языков в документации BERT)?
Кроме того, является ли моя гипотеза «относительно BERT, что он отображает, я думаю, что это слой внедрения отображает слова из разных языков с одинаковым контекстом впохожие кластеры ", правильно?