Я пытаюсь получить вложения предложений для Берта, но я не совсем уверен, правильно ли я это делаю ... и да, я в курсе, что уже существуют такие инструменты, как, например, "Берт как услуга", но я хочу сделать это сам и понять, какэто работает.
Допустим, я хочу извлечь предложение, включающее вложение слов, из следующего предложения "Я есть". Как я понял Берт выводит в виде (12, seq_lenght, 768). Я извлек каждое вложение слова из последнего слоя кодировщика в виде (1, 768). Теперь я сомневаюсь в том, чтобы извлечь предложение из этих двух векторов слов. Если у меня есть (2768), я должен сложить dim = 1 и получить вектор (1768)? Или, может, объединить два слова (1, 1536) и применить (среднее) объединение и получить вектор предложения в форме (1, 768). Я не уверен, что правильный подход состоит в том, чтобы получить вектор предложения для данного примера.