возникла ошибка при воспроизведении оценки максимального правдоподобия для нормального распределения

Question

Мне удалось воспроизвести этот пост и я пытаюсь понять его логику.

Вот код.

x = [4, 5, 7, 8, 8, 9, 10, 5, 2, 3, 5, 4, 8, 9]
# Plot the Maximum Likelihood Functions for different values of mu 
# and sigma
def plot_ll(x):
    plt.figure(figsize=(5,8))
    plt.title("Maximim Likelihood Functions")
    plt.xlabel("Mean Estimate")
    plt.ylabel("Log Likelihood")
    plt.ylim(-40, -30)
    plt.xlim(0, 12)
    mu_set = np.linspace(0, 16, 1000)
    sd_set = [.5, 1, 1.5, 2.5, 3, 3.5]
    max_val = max_val_location = None
    for sd_hat in sd_set:
        ll_array = []
        for mu_hat in mu_set:
            temp_mm = 0
            for smp in x:
                temp_mm += np.log(norm.pdf(smp, mu_hat, sd_hat)) # The LL function
            ll_array.append(temp_mm)
            if (max_val is None):
                max_val = max(ll_array)
            elif max(ll_array) > max_val:
                max_val = max(ll_array)
                max_val_location = mu_hat
        # Plot the results
        plt.plot(mu_set, ll_array, label="sd: %.1f" % sd_hat)
        print("The max LL for sd %.2f is %.2f" % (sd_hat, max(ll_array)))
    plt.axvline(x=max_val_location, color='black', ls='-.')
    plt.legend(loc='lower left')
plot_ll(x)

Я освоил norm.pdf,журнал вероятности реализации.

temp_mm используется для кэширования вероятности x для mu = mu_hat и sd = sd_hat.

ll_array - для кэширования всей вероятности для каждого элемента в образце x.

max (ll_array) - найти максимальную вероятность.

почему mu_hat считается местом?чье местоположение?

Answer 1

Переменная max_val_location относится к значению mu, которое соответствует наибольшему логарифмическому правдоподобию, поэтому именно «местоположение» в mu_set создает наибольшее логарифмическое правдоподобие.Я считаю, что эта реализация немного усложнена.

Давайте подробнее рассмотрим этот блок if / elif.Смысл этого состоит в том, чтобы отслеживать максимальное значение LL, наблюдаемое до сих пор (max_val), и значение mu, которое дало это максимальное значение LL.Использование max здесь не является необходимым и неэффективным, так как мы берем рабочий максимум и должны только проверить, больше ли последнее значение LL, чем наибольшее значение, которое мы видели до сих пор.Кроме того, должен быть max_val_location = mu_hat под блоком if.Более того, это может быть один if, который объединяет два условия.

if (max_val is None):
    max_val = max(ll_array)
elif max(ll_array) > max_val:
    max_val = max(ll_array)
    max_val_location = mu_hat

Я немного переписал пример, чтобы, надеюсь, сделать его более понятным, включая переименование max_val_location в max_val_parameters.

x = [4, 5, 7, 8, 8, 9, 10, 5, 2, 3, 5, 4, 8, 9]
# Plot the Maximum Likelihood Functions for different values of mu 
# and sigma
def plot_ll(x):
    plt.figure(figsize=(5,8))
    plt.title("Maximim Likelihood Functions")
    plt.xlabel("Mean Estimate")
    plt.ylabel("Log Likelihood")
    plt.ylim(-40, -30)
    plt.xlim(0, 12)
    mu_set = np.linspace(0, 16, 1000)
    sd_set = [.5, 1, 1.5, 2.5, 3, 3.5]
    max_val = None
    max_val_parameters = None # Keeps track of the (mu, sigma) that produces
                              # the maximum value of the LL
    for sd_hat in sd_set:
        ll_array = []
        for mu_hat in mu_set:
            temp_mm = 0
            for smp in x:
                temp_mm += np.log(norm.pdf(smp, mu_hat, sd_hat)) # The LL function
            ll_array.append(temp_mm)
            if max_val is None or temp_mm > max_val:
                # This `temp_mm` is the largest value of the LL that we've
                # seen so far, so keep track of its value and the (mu, sd)
                # that produced this value.
                max_val = temp_mm
                max_val_parameters = (mu_hat, sd_hat)
        # Plot the results
        plt.plot(mu_set, ll_array, label="sd: %.1f" % sd_hat)
        print("The max LL for sd %.2f is %.2f" % (sd_hat, max(ll_array)))
    plt.axvline(x=max_val_parameters[0], color='black', ls='-.')
    plt.legend(loc='lower left')
plot_ll(x)