У меня есть несколько триплетов вопросов, контекста и ответов для обучения, и, кроме того, у меня есть последовательности внутри запросов, которые разделены на несколько категорий.
Пример: предположим, что есть 2 типа меток A и B.
Запрос: Какая погода на улице?
Метка A: Как
Метка B: погода на улице
I wi sh to закодируйте вопрос и контекст с помощью BERT, а затем используйте эти метки, связанные с токенами, для извлечения диапазона ответов из контекста. с использованием весового вектора размера (768 с использованием поэлементного умножения на токены запроса) для токенов с метками A, B и других. Затем используйте новую кодировку запроса и контекстное кодирование BERT в ансамбле для задачи выбора диапазона ответов.
Есть ли другие идеи по использованию меток последовательности для задачи MR C?