Фильтр спама - новичок Python - PullRequest
Новая
       48

Фильтр спама - новичок Python

1 голос
/ 30 апреля 2019

Итак, у меня есть задача создания алгоритма классификации в Python для набора данных электронной почты: https://archive.ics.uci.edu/ml/datasets/spambase

Мне нужно иметь возможность обрабатывать набор данных, применять мой алгоритм классификации (я выбрал 3 версии наивного байесовского алгоритма), выводить оценку точности на терминал, выполнять 5 или 10-кратную перекрестную проверку и выяснять, сколько электронных писем спам.

Как видите, я выполнил некоторые задачи, но пропустил перекрестную проверку и выяснил, сколько писем является спамом. 

import numpy as np
import pandas as pd 

import sklearn   
from sklearn.naive_bayes import BernoulliNB
from sklearn.naive_bayes import GaussianNB
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split

from sklearn import metrics
from sklearn.metrics import accuracy_score

# Read data
dataset = pd.read_csv('dataset.csv').values

# What shuffle does? How it helps?
np.random.shuffle(dataset)


X = dataset[ : , :48 ]
Y = dataset[ : , -1 ]

X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size = .33, random_state = 17)

# Bernoulli Naive Bayes
BernNB = BernoulliNB(binarize = True)
BernNB.fit(X_train, Y_train)
y_expect = Y_test
y_pred = BernNB.predict(X_test)   
print ("Bernoulli Accuracy Score: ")
print (accuracy_score(y_expect, y_pred))

# Multinomial Naive Bayes
MultiNB = MultinomialNB()
MultiNB.fit(X_train, Y_train)
y_pred = MultiNB.predict(X_test)
print ("Multinomial Accuracy Score: ")
print (accuracy_score(y_expect, y_pred))

# Gaussian Naive Bayes
GausNB = GaussianNB()
GausNB.fit(X_train, Y_train)
y_pred = GausNB.predict(X_test)
print ("Gaussian Accuracy Score: ")
print (accuracy_score(y_expect, y_pred))

# Bernoulli ALTERED Naive Bayes
BernNB = BernoulliNB(binarize = 0.1)
BernNB.fit(X_train, Y_train)
y_expect = Y_test
y_pred = BernNB.predict(X_test)   
print ("Bernoulli 'Altered' Accuracy Score: ")
print (accuracy_score(y_expect, y_pred))

Я изучил перекрестную проверку и думаю, что могу применить это сейчас, но выяснить, сколько писем является спамом, который я не понимаю ??? У меня есть разные версии Navie Bayes версий, но как я могу найти количество спама? Последний столбец равен 1 или 0, и это определяет, является ли его спам или нет? Так что я не знаю, как это сделать

1 Ответ

2 голосов
/ 30 апреля 2019

Поскольку метка класса 1 означает спам, значение точности, которое вы рассчитываете с помощью accuracy_score, даст вам количество спам-писем, которые правильно определены как спам.Например, точность теста 90% подразумевает, что 90 из 100 тестовых спам-сообщений правильно классифицируются как спам.

Используйте sklearn.metrics.confusion_matrix(y_expect, y_pred) для индивидуальной разбивки на уровне класса.

sklearn Doc

Например:

Если y_expect = [1,1,0,0,1] Этоозначает, что у вас есть 3 спам-сообщения и 2 не спама в ваших тестовых данных, и если y_pred = [1,1,1,0,1], то это означает, что ваша модель правильно обнаружила 3 ​​из спам-писем, но также обнаружила 1 не спам в качестве спама.

...