Я реализую Gaussian Naive Bayes с нуля, следуя этому действительно хорошему учебнику: https://machinelearningmastery.com/naive-bayes-classifier-scratch-python/
Видимо, все работает отлично.Я адаптировал код для работы с другим набором данных, который поступает отсюда http://archive.ics.uci.edu/ml/datasets/statlog+(heart)
Поскольку в этом руководстве используется «гауссова функция плотности вероятности», она обеспечивает вероятность.Я пытался адаптировать эту идею, чтобы убедиться, что мои результаты также показывают мне вероятность, а не только вероятность.Процесс принятия решения работает нормально, он предсказывает правильно.Тем не менее, мой вывод вероятности показывает, например, «1.2803300002643495e-15», который я не могу «преобразовать» в вероятность.
Я пытался перейти от вероятности к вероятности, выполнив следующее:
probfor1=(probabilities[1]/(probabilities[1] + probabilities[2]))
probfor2=probabilities[2]/(probabilities[1] + probabilities[2])
Однако он не дает мне правильных вероятностей (т. Е. Он выдает 0.9995918295017332 или 2.8694419736742756e-06, что явно не правильно).Пожалуйста, дайте мне знать, если я добавлю больше объяснений.
Весь мой код:
# -*- coding: utf-8 -*-
"""
"""
import csv
import math
"""
-------------------
Start: Load data
-------------------
It reads the .dat files and return as floats
Used for both training & test files
"""
def loadCsv(filename):
lines = csv.reader(open(filename, "rt"),delimiter=' ')
dataset = list(lines)
for i in range(len(dataset)):
dataset[i] = [float(x) for x in dataset[i]]
return dataset
"""
-------------------
End: Load data
-------------------
"""
def separateByClass(dataset):
separated = {}
for i in range(len(dataset)):
vector = dataset[i]
if (vector[-1] not in separated):
separated[vector[-1]] = []
separated[vector[-1]].append(vector)
return separated
def mean(numbers):
#print(sum(numbers)/float(len(numbers)))
return sum(numbers)/float(len(numbers))
def stdev(numbers):
avg = mean(numbers)
variance = sum([pow(x-avg,2) for x in numbers])/float(len(numbers)-1)
#print(math.sqrt(variance))
return math.sqrt(variance)
def summarize(dataset):
summaries = [(mean(attribute), stdev(attribute)) for attribute in zip(*dataset)]
del summaries[-1]
return summaries
def summarizeByClass(dataset):
separated = separateByClass(dataset)
summaries = {}
for classValue, instances in separated.items():
summaries[classValue] = summarize(instances)
#print(summaries)
return summaries
def calculateProbability(x, mean, stdev):
exponent = math.exp(-(math.pow(x-mean,2)/(2*math.pow(stdev,2))))
#print((1 / (math.sqrt(2*math.pi) * stdev)) * exponent)
return (1 / (math.sqrt(2*math.pi) * stdev)) * exponent
def calculateClassProbabilities(summaries, inputVector):
probabilities = {}
for classValue, classSummaries in summaries.items():
probabilities[classValue] = 1
for i in range(len(classSummaries)):
mean, stdev = classSummaries[i]
x = inputVector[i]
probabilities[classValue] *= calculateProbability(x, mean, stdev)
print("Here")
print(probabilities[1])
print("Here2")
print(probabilities[2])
#print("Here3")
#print(probabilities[1]/(probabilities[1] + probabilities[2]))
return probabilities
def predict(summaries, inputVector):
print("-----------------------------")
probabilities = calculateClassProbabilities(summaries, inputVector)
print('Probabilities for each class: {0}'.format(probabilities))
probfor1=(probabilities[1]/(probabilities[1] + probabilities[2]))
probfor2=probabilities[2]/(probabilities[1] + probabilities[2])
bestLabel, bestProb = None, -1
for classValue, probability in probabilities.items():
if bestLabel is None or probability > bestProb:
bestProb = probability
bestLabel = classValue
print(bestProb)
print(bestLabel)
if bestLabel == 1:
print("hereeeee11111")
print(probfor1)
else:
print("hereeeee2222")
print(probfor2)
return bestLabel
def getPredictions(summaries, testSet):
predictions = []
for i in range(len(testSet)):
result = predict(summaries, testSet[i])
predictions.append(result)
print(result)
return predictions
def getAccuracy(testSet, predictions):
correct = 0
for i in range(len(testSet)):
if testSet[i][-1] == predictions[i]:
correct += 1
return (correct/float(len(testSet))) * 100.0
def main():
filename_training = 'heart.training.dat'
filename_testing = 'heart.test.dat'
#splitRatio = 0.67
trainingSet = loadCsv(filename_training)
testSet = loadCsv(filename_testing)
#trainingSet, testSet = splitDataset(trainingset, splitRatio)
#print('Split {0} rows into train={1} and test={2} rows'.format(len(dataset), len(trainingSet), len(testSet)))
# prepare model
summaries = summarizeByClass(trainingSet)
# test model
predictions = getPredictions(summaries, testSet)
accuracy = getAccuracy(testSet, predictions)
print('Accuracy: {0}%'.format(accuracy))
main()