(также опубликовано в https://github.com/dmis-lab/biobert/issues/98)
Привет, кто-нибудь знает, как загрузить biobert в качестве слоя keras, используя преобразователи с обнимающими лицами (версия 2.4.1)? Я попробовал несколько возможностей, но ни одна из них не сработала. Все, что я узнал, это как использовать версию pytorch, но меня интересует версия слоя keras. Ниже приведены две мои попытки (я сохранил файлы biobert в папку «biobert_v1.1_pubmed»).
Попытка 1:
biobert_model = TFBertModel.from_pretrained('bert-base-uncased')
biobert_model.load_weights('biobert_v1.1_pubmed/model.ckpt-1000000')
Сообщение об ошибке:
AssertionError: Some objects had attributes which were not restored:
: ['tf_bert_model_4/bert/embeddings/word_embeddings/weight']
: ['tf_bert_model_4/bert/embeddings/position_embeddings/embeddings']
(and many more lines like above...)
Попытка 2:
biobert_model = TFBertModel.from_pretrained("biobert_v1.1_pubmed/model.ckpt-1000000", config='biobert_v1.1_pubmed/bert_config.json')
Сообщение об ошибке:
NotImplementedError: Weights may only be loaded based on topology into Models when loading TensorFlow-formatted weights (got by_name=True to load_weights).
Любая помощь приветствуется! Мой опыт работы с библиотекой трансформеров huggingface практически нулевой. Я также пытался загрузить следующие две модели, но, похоже, они поддерживают только версию Pytorch.