Я создал модель Python, которая находит места происшествия и данные геолокации из новостных статей. Я думаю, он неплохо справляется, но мне нужно указать, насколько точным является , то есть насколько он хорош. Вопрос: « С какой точностью мы можем найти место аварии в новостной статье? »
Например, в одной статье моя модель находит следующие местоположения:
Stationsplein, Zwolle (52.506100, 6.090250)
Oosterlaan, Zwolle (52.504960, 6.093270)
Westerlaan, Zwolle (52.507410, 6.086830)
N50, Kampen (52.504490, 5.980510)
В этом случае не должно быть найдено последнее местоположение, поскольку оно не является местом происшествия. Таким образом, 100% правильный вывод должен был быть:
Stationsplein, Zwolle (52.506100, 6.090250)
Oosterlaan, Zwolle (52.504960, 6.093270)
Westerlaan, Zwolle (52.507410, 6.086830)
Я не уверен, как измерить точность этой модели. Это не бинарная классификация, поэтому я не могу использовать такие показатели, как точность, точность, отзыв и f1. Я изучал такие вещи, как сходство с Джакардом, но это тоже не похоже. Я, конечно, могу сказать, что приведенный выше пример точен на 75% (3/4 правильный), но это выглядит немного ограниченным. Таким образом, я не нашел других применимых мер точности. Любые предложения приветствуются.