Я использую Универсальный кодировщик предложений от TensorflowHub.
Документированный API позволяет применять модель к фрагменту текста, чтобы получить окончательное встраивание. Я также хотел бы получить доступ и объединить некоторые из внутренних состояний, возникших при вычислении встраивания.
Универсальный кодировщик предложений представляет собой модель Transformer и использует механизм внимания. Я хотел бы иметь возможность записывать трассировку распределения внимания для каждого входа