Установить данные проверки в обучении SpaCy NER

Question

Можно ли обучить SpaCy NER данными валидации? Или разделить некоторые данные для проверки, как в Keras (validation_split в model.fit)? Спасибо

with nlp.disable_pipes(*other_pipes):  # only train NER
        for itn in tqdm(range(n_iter)):
            random.shuffle(train_data_list)
            losses = {}
            # batch up the examples using spaCy's minibatch
            batches = minibatch(train_data_list, size=compounding(8., 64., 1.001))
            for batch in batches:
                texts, annotations = zip(*batch)
                nlp.update(texts, annotations, sgd=optimizer, drop=0.35,
                           losses=losses)

Answer 1

Используйте spacy train CLI вместо демонстрационного сценария:

spacy train lang /path/to/output train.json dev.json

Данные проверки используются для выбора лучшей модели из итераций обучения и, при необходимости, для ранней остановки.

Основная задача - преобразовать ваши данные в JSON обучающий формат spacy, см. { ссылка }