Я слышал, что можно использовать предварительно обученный универсальный кодер предложений (USE) (модель нейронного языка) из TF-hub как часть обучаемой модели, например, классификатора предложений. Некоторые версии USE используют токенайзер подслов слова SentencePiece, который мне тоже нужен. В Интернете есть минимальные инструкции, как это сделать.
Вот как использовать USE-lite с SentencePiece:
- https://tfhub.dev/google/universal-sentence-encoder-lite/2
Вот как обучить классификатор на основе предварительно обученной модели USE:
- http://hunterheidenreich.com/blog/google-universal-sentence-encoder-in-keras/ - https://www.youtube.com/watch?v=gnz1CUzb5qo
А вот как измерить сходство предложений с использованием USE-lite и SentencePiece:
- https://github.com/tensorflow/hub/blob/master/examples/colab/semantic_similarity_with_tf_hub_universal_encoder_lite.ipynb
Я успешно воспроизвел вышеуказанные произведения отдельно. Затем я попытался объединить вышеупомянутые идеи в один PO C, который создаст модель классификатора, основанную на USE-lite и SentencePiece, но я не вижу, как это сделать. В настоящее время я застрял в части, где я изменяю первый (ые) слой (и) обучаемого классификатора. Я попытался заставить его принять либо (1) идентификаторы токена SentencePiece (в котором я токенизирую текст, выходящий из графика Tensorflow), либо (2) необработанный текст (используя SentencePiece в качестве Op внутри графа Tensorflow). После этого он должен направлять токенизированный текст в модель USE-lite, либо в лямбду, либо каким-либо другим способом. Наконец, выходные данные USE-lite должны быть переданы в плотный слой (или два?), Заканчивающийся на softmax для вычисления вероятностей класса.
Я относительно новичок в Tensorflow. Я полагаю, что вышеупомянутых источников будет достаточно для более опытного разработчика Tensorflow, чтобы объединить и сделать работу для моего варианта использования. Дайте мне знать, если вы можете предоставить какие-либо указатели. Спасибо.