Тонкие ошибки одной реализации решения пня - PullRequest
Новая
       13

Тонкие ошибки одной реализации решения пня

0 голосов
/ 28 ноября 2018

Примечание: этот вопрос возникает из-за деталей реализации, а не из самого алгоритма ERM для решения задачи.

Я пытаюсь самостоятельно реализовать алгоритм для принятия решения и сравнить его с правильной реализацией (обе реализации показаны ниже).

Насколько я понимаю, моя реализация по сути такая же, как и правильная реализация, где я делаю сортировку x, D и y вместе, но правильную реализациюне сортирует D и y и использует вместо него curr_idx.

Но после выполнения следующих тестовых кодов из 10000 различных тестовых наборов я получил 6213 неправильных тестовых набора.

np.random.seed(0)
cor_count = 0
err_count = 0
for iter in range(10000):
    X = np.random.randint(1, 100, size=(10, 2))
    D = np.random.rand(10)
    D /= np.sum(D)
    y = np.random.choice([-1, 1], size=(10,))
    my_res = my_decision_stump(X, D, y)
    res = decision_stump(X, D, y)
    if my_res == res:
        cor_count += 1
    else:
        err_count += 1

print("Number of correct cases {}".format(cor_count))
print("Number of error cases {}".format(err_count))

Моя реализация и правильная реализация показаны ниже. 

def my_decision_stump(X, D, y):
    Fs = np.inf

    optimal_j = None
    optimal_b = None
    optimal_theta = None

    m, d = X.shape
    for j in range(d):
        record = np.hstack((X[:, j].reshape(-1, 1), D.reshape(-1, 1), y.reshape(-1, 1)))
        record_sorted = record[record[:, 0].argsort()]
        x = record_sorted[:, 0]; D = record_sorted[:, 1]; y = record_sorted[:, 2]
        x = np.hstack((x, x[-1]+1))

        F_pos = np.sum(D[y == 1])
        F_neg = np.sum(D[y == -1])

        if F_pos < Fs or F_neg < Fs:
            optimal_theta = x[0] - 1; optimal_j = j
            if F_pos < F_neg:
                Fs = F_pos; optimal_b = 1
            else:
                Fs = F_neg; optimal_b = -1

        for i in range(m):
            F_pos -= y[i] * D[i]
            F_neg += y[i] * D[i]
            if (F_pos < Fs or F_neg < Fs) and x[i] != x[i+1]:
                optimal_theta = 0.5 * (x[i] + x[i+1]); optimal_j = j
                if F_pos < F_neg:
                    Fs = F_pos; optimal_b = 1              
                else:
                    Fs = F_neg; optimal_b = -1       
    return (optimal_j, optimal_b, optimal_theta)

def decision_stump(X, D, y):
    Fs = np.inf

    optimal_j = None
    optimal_b = None
    optimal_theta = None

    m, d = X.shape
    for j in range(d):
        index = np.argsort(X[:, j])
        x = np.zeros(m+1)
        x[:-1] = X[index, j]
        x[-1] = x[-2] + 1
        F_pos = np.sum(D[y == 1])
        F_neg = np.sum(D[y == -1])
        if F_pos < Fs or F_neg < Fs:
            optimal_theta = x[0] - 1; optimal_j = j
            if F_pos < F_neg:
                Fs = F_pos; optimal_b = 1                   
            else:
                Fs = F_neg; optimal_b = -1

        for i in range(m):
            curr_idx = index[i]
            F_pos -= y[curr_idx] * D[curr_idx]
            F_neg += y[curr_idx] * D[curr_idx]
            if (F_pos < Fs or F_neg < Fs) and x[i] != x[i+1]:
                optimal_theta = 0.5 * (x[i] + x[i+1]); optimal_j = j
                if F_pos < F_neg:
                    Fs = F_pos; optimal_b = 1              
                else:
                    Fs = F_neg; optimal_b = -1       
    return (optimal_j, optimal_b, optimal_theta)

Я не уверен, какую (возможно, скрытую) ошибку я допустил.Может ли кто-нибудь помочь мне, спасибо заранее.

1 Ответ

0 голосов
/ 28 ноября 2018

Я допустил глупую ошибку ...

В моей реализации из-за злоупотребления именами переменных D и y получается, что каждый раз, когда D и y изменяется(т.е. D = record_sorted[:, 1], но на следующей итерации используется D, то же самое с y), поскольку я выполняю сортировку, но они НЕ ДОЛЖНЫ.

В этом примере показана большая опасность злоупотребления именем переменной.

...