алгоритм k-средних в Python - PullRequest
Новая
       6

алгоритм k-средних в Python

0 голосов
/ 01 мая 2018

Я попытался реализовать алгоритм k-средних для набора данных MNIST. Но так как результат далек от хорошего, может быть ошибка (или несколько), которую я не вижу в данный момент. Код действительно прост. Вот что я сделал до сих пор: 

import numpy as np

# Load images
I = np.load("mnist_test_images.npy").astype(float) # (10000,784)
L = np.load("mnist_test_labels.npy").astype(int) # (10000,1)

# Scale
I = 2.0*(I/255.0-0.5)

images = len(I)

# Random initialization of centers for k=10 clusters
M = np.random.randn(10,28*28)

guess = np.zeros((len(I),1))
step = 0
while (True):
    # Compute distance of every image i to the center of every cluster k
    # image i belongs to cluster with smallest distance
    for i in range(images):
        d = np.sum((M-I[i])**2,axis=1)
        guess[i] = np.argmin(d)

    # Update the centers for all clusters
    # New center is the mean of all images i which belong to cluster k
    for k in range(10):
        idx, _ = np.where(guess == k)
        if len(idx) > 0:
            M[k] = np.mean(I[idx],axis=0)

    # Test how good the algorithm works
    # Very similar to first step
    if (step % 10 == 0):
        fitness = 0
        for i in range(images):
            dist = np.sum((M-I[i])**2,axis=1)
            if L[i] == np.argmin(dist):
                fitness += 1
        print("%d" % fitness, flush=True)

    step += 1

Код выглядит действительно просто. Но, возможно, где-то есть ошибка. Когда я проверяю его, точность падает с 10-20% до 5-10% или сходится почти мгновенно, не достигая более 30%. Я не могу распознать любое обучение. Может ли случайная инициализация центров кластера вызвать такое поведение?

Спасибо!

1 Ответ

0 голосов
/ 02 мая 2018

Проблема в том, что вы рассматриваете это как контролируемый подход к обучению, но он не контролируется. На мой взгляд, следует избегать всей терминологии «неконтролируемого обучения», поскольку она может быть очень обманчивой. На самом деле, я бы не назвал большинство «неконтролируемых» методов «обучением».

Кластеризация - это не просто «неконтролируемая классификация». Это совсем другая и гораздо более сложная задача. Задача настолько сложна, что мы даже не знаем, как ее реально оценить.

Я в вашем случае есть несколько вопросов:

  1. Вы предполагаете, что kmeans найдет цифры от 0 до 9. Поскольку он не контролируется, он, скорее всего, не . Вместо этого он может обнаружить, что есть наклонные цифры, разная ширина линий, разные типы и т. Д.
  2. Вы оцениваете это, предполагая, что кластер 0 соответствует цифре 0. Это не так. Метки кластера не имеют смысла. MNIST - очень плохой выбор, потому что по совпадению его классы также являются цифрами. Но kmeans всегда будет использовать метки от 0 до k-1, даже для яблок и бананов.
  3. Вы предполагаете, что оценка должна улучшаться с каждой итерацией. Но это без присмотра!
  4. Класс может содержать несколько кластеров
  5. Классы могут быть неотделимы без меток, и эта форма один кластер
  6. Методы типа kmeans чувствительны к выбросам. Вероятно, у вас есть очень маленькие кластеры, которые просто моделируют несколько неверных точек данных.
...