Bert + текстовые и структурные данные

Question

Для каждого экземпляра у меня есть текстовые и табличные данные. Мне было интересно, есть ли способ использовать Bert_classification и объединить результат, чтобы классифицировать весь набор данных без переобучения. Есть ли способ сделать две разные классификации для текстовых и табличных данных и объединить их вместе?

Answer 1

BERT может возвращать вектор, так называемый [CLS] вектор, который можно использовать в качестве входных данных для любой дальнейшей модели. Таким образом, ответ - да: вы можете обработать свой текст с помощью BERT и получить одно-векторное представление, получить любые представления / функции, которые вы делаете для своих табличных данных, объединить их и обучить классификатор поверх них.