Могу ли я использовать неточно настроенную модель BERT от TF HUB, чтобы обслуживать ее с порцией TF?

Question

Я новичок в TF serving и в настоящее время у меня такая проблема. Я запускаю серверную часть, используя bert_en_uncased из TF HUB, но я не понимаю, как правильно реализовать клиентскую сторону. Я столкнулся с парой статей, но каждая из них предполагает, что у меня есть готовая отлаженная модель с заранее назначенными обработчиками для запросов. Кто-нибудь может поделиться некоторыми наставниками или ссылками на API, чтобы облегчить мою задачу?

Некоторые из статей, которые я прочитал:

• Развертывание модели ответа на обслуживаемые вопросы с использованием TensorFlow Serving
• 3 способа оптимизации и экспорта модели BERT для онлайн-обслуживания
• Использование тонко настроенной модели BERT для обслуживания Tensorflow (выпуск GitHub)

PS. Я не пытаюсь создать модель QA или что-то подобное, мне просто нужны вложения BERT из этой конкретной модели.

Answer 1

UPD: я уже решил эту проблему. Главное, что у TF.HUB модели нет списка spe c или чего-то в этом роде, только некоторая документация о том, как вы можете использовать его с tf.hub. Если вы столкнулись с подобной проблемой, я рекомендую сделать следующее: 1) Установить / скомпилировать из исходного кода SavedModelCli, это инструмент TensorFlow, скажем, для распаковки сохраненных моделей и получения их спецификаций; 2) Найдите несколько руководств по TF Serving, просто измените несколько фрагментов кода, почти каждая реализация одинакова; 3) Возможно, вы могли бы (и вы БУДЕТЕ, поверьте мне) столкнуться с предупреждениями об устаревании. Не пытайтесь искать документацию, решение было здесь :) Удачи в обслуживании ваших моделей!