Устранение ошибки при использовании инструментария Crf ++

Question

Всем тем, кто имел опыт использования инструментария crf ++ (см .: http://crfpp.sourceforge.net/)

. Пожалуйста, найдите сообщение об ошибке, которое появляется при попытке запустить программу обучения CRF ++:

CRF++: Yet Another CRF Tool Kit
Copyright (C) 2005-2009 Taku Kudo, All rights reserved.

encoder.cpp(280) [feature_index.open(templfile, trainfile)] feature_index.cpp(86)     [max_size == size] inconsistent column size: 21 20 train.data

Я не уверен, как интерпретировать сообщение об ошибке. В моем обучающем файле 20 функций, а 21-й токен - значение класса. Я создал файл шаблона Crf ++ в соответствии с инструкциями на сайте.

Answer 1

Это похоже на проблему формата обучающих данных, убедитесь, что количество столбцов одинаково во всех предложениях.

Answer 2

Я получил эту ошибку сегодня и обнаружил, что crf++ toolkit просто установил символ табуляции (\ t) в качестве разделителя столбцов по умолчанию, тогда как мой файл данных поезда, использующий один пробел, приводит к ошибке.

Answer 3

Ошибка предполагает, что количество столбцов в строках не одинаково среди всех.Максимальное количество столбцов - 21, и это должно быть согласовано в файле обучения, но crf_learn находит его 20 где-то в вашем файле обучения train.data.Поэтому найдите такой ряд и удалите / отремонтируйте его.

Answer 4

Некоторые пункты для проверки: 1. Проверьте, есть ли у вас новая строка после каждого предложения 2. Проверьте, не содержит ли ваш столбец значений sp