Как использовать пользовательскую модель с Tensorflow Hub?

Question

Моя цель - протестировать алгоритм BERT от Google в Google Colab.

Я бы хотел использовать предварительно обученную пользовательскую модель для Finni sh (https://github.com/TurkuNLP/FinBERT). Модель не найдена в библиотеке TFHub. Я не нашел способ загрузить модель с Tensorflow Hub.

Есть ли удобный способ загрузить и использовать пользовательскую модель с Tensorflow Hub?

Answer 1

Принципиально: да. Каждый может создать тот тип моделей, который размещается в TF Hub, и я надеюсь, что авторы интересных моделей это учтут.

• Для TF1 и адаптированного к нему формата модуля hub. См. https://www.tensorflow.org/hub/tf1_hub_module#creating_a_new_module
• Для TF2 и его пересмотренного формата SavedModel см. https://www.tensorflow.org/hub/tf2_saved_model#creating_savedmodels_for_tf_hub

Тем не менее, сложная модель, такая как BERT, требует немного внимания экспортировать его со всеми прибамбасами, так что это поможет иметь некоторые инструменты для наращивания. Ссылочная реализация BERT для TF2 в https://github.com/tensorflow/models/tree/master/official/nlp/bert поставляется с открытым исходным кодом сценария export_tfhub.py, и любой может использовать его для экспорта пользовательских экземпляров BERT, созданных из этой базы кода.

Однако Из https://github.com/TurkuNLP/FinBERT/blob/master/nlpl_tutorial/training_bert.md#general -info я понимаю, что вы используете форд Nvidia оригинальной реализации BERT для TF1. Существуют модули-концентраторы, созданные из исходного исследовательского кода, но инструменты для этого не были открыты, и Nvidia, похоже, тоже не добавила свои собственные.

Если это не изменится, вы ' Вероятно, придется прибегнуть к тому, чтобы делать вещи по-пешеходному, познакомиться с их кодовой базой и загрузить в нее свои контрольные точки.