Оценка точности классификации изображений Python с использованием данных обучения

Question

Я провел классификацию по изображению и вывел соответствующие пиксельные данные в виде набора данных. У меня также есть набор данных того же типа с непоследовательным количеством выборок, называемых данными обучения. Я хочу снова провести оценку точности классифицированных данных пикселей, используя набор данных обучения, который пользователь создает самостоятельно. Я пытался использовать Python Spleen confusion_matrix и accuracy_score, но моя проблема в том, что два набора данных (производитель, пользователь) имеют разный размер. Можно ли выполнить оценку точности, чтобы проверить свои результаты?

Вот два набора данных, включая их размер

Код:

user = pd.read_csv("/Users/chrisradford/Documents/School/Masters/RA/Classifier/Python/Training.csv")
producer = pd.read_csv("/Users/chrisradford/Documents/School/Masters/RA/Classifier/Python/ProducerData.csv")
print("User created training data")
print(user.shape)
print(user.head())
print("producer created data")
print(producer.shape)
print(producer.head())
val = accuracy_score(user, producer)
cnf_matrix = confusion_matrix(producer, user)
print(val)
print(cnf_matrix)

Answer 1

Насколько мне известно, лучший способ оценить точность классификации изображений - перекрестная проверка в K-кратном размере. Можно выбрать любое значение K для перекрестной проверки, однако, я бы предпочел значение 10, чтобы убедиться, что оценка на тестовых данных не смещена и не является полностью случайной. Таким образом, когда вы вычисляете перекрестную проверку каждого K-го сгиба, вы в итоге получаете 4 значения ложных срабатываний, ложных отрицательных, истинных положительных и истинных отрицательных значений. После этого можно построить матрицу путаницы, взяв среднее значение каждого из этих значений.