Сценарий Python для извлечения именованных объектов с фреймворком, застрявшим во время обучения - PullRequest
0 голосов
/ 24 мая 2019

Это мой код, который я пытаюсь обучить, чтобы получить предварительно обученную модель для извлечения именованных сущностей на французском языке.Я использую Google Colab в качестве среды, так как на моем ноутбуке всего 4 ГБ, а в Colab 12 ГБ.К сожалению, в colab сценарий каждый раз застревает в эпохе 1.Может ли кто-нибудь предложить мне решение или совет для решения моей проблемы?большое спасибо !КОД:

from flair.visual.training_curves import Plotter
from flair.trainers import ModelTrainer
from flair.models import SequenceTagger
from flair.data import TaggedCorpus
from flair.data_fetcher import NLPTaskDataFetcher, NLPTask
from flair.embeddings import TokenEmbeddings, WordEmbeddings, 
StackedEmbeddings
from flair.embeddings import FlairEmbeddings, BertEmbeddings
from typing import List
from flair.data import Sentence 
# import flair.datasets
# 1. get the corpus
corpus = NLPTaskDataFetcher.load_corpus(NLPTask.WIKINER_FRENCH)
# 2. what tag do we want to predict?
tag_type = 'ner'
# 3. make the tag dictionary from the corpus
tag_dictionary = corpus.make_tag_dictionary(tag_type=tag_type)
print(tag_dictionary.idx2item)
# large embedding configuration - comment this in for a better model
embeddings = StackedEmbeddings(
   [WordEmbeddings('fr'),
   FlairEmbeddings('french-forward', use_cache=True),
   FlairEmbeddings('french-backward', use_cache=True)])
# 5. initialize sequence tagger

tagger: SequenceTagger = SequenceTagger(hidden_size=256,
                                    embeddings=embeddings,
                                    tag_dictionary=tag_dictionary,
                                    tag_type=tag_type,
                                    use_crf=True)
# # 6. initialize trainer

trainer: ModelTrainer = ModelTrainer(tagger, corpus)

# 7. start training
trainer.train('resources/taggers/example-ner',
          learning_rate=0.1,
          mini_batch_size=32,
          max_epochs=150)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...