создание наборов элементов в алгоритме априори

Question

Я читаю об анализе ассоциаций в книге под названием «Машинное обучение в действии».Следующий код приведен в книге

К-2 может немного запутать.Давайте посмотрим на это немного дальше.Когда вы создавали {0,1} {0,2}, {1,2} из {0}, {1}, {2}, вы просто комбинировали элементы.А что если вы хотите использовать {0,1} {0,2}, {1,2} для создания набора из трех элементов?Если бы вы сделали объединение каждого набора, вы бы получили {0, 1, 2}, {0, 1, 2}, {0, 1, 2}.Вот так.Это один и тот же набор три раза.Теперь вам нужно просмотреть список наборов из трех элементов, чтобы получить только уникальные значения.Вы пытаетесь свести к минимуму количество проходов по спискам.Теперь, если бы вы сравнили первый элемент {0,1} {0,2}, {1,2} и взяли объединение только тех, у кого был один и тот же первый элемент, что бы вы получили?{0, 1, 2} только один раз.Теперь вам не нужно просматривать список в поисках уникальных значений.

def aprioriGen(Lk, k): #creates Ck
    retList = []
    lenLk = len(Lk)
    for i in range(lenLk):
        for j in range(i+1, lenLk):
            L1 = list(Lk[i])[:k-2]; L2 = list(Lk[j])[:k-2] # Join sets if first k-2 items are equal
            L1.sort(); L2.sort()
            if L1==L2:
                retList.append(Lk[i] | Lk[j])
    return retLis

Предположим, я вызываю вышеуказанную функцию

Lk = [frozenset({2, 3}), frozenset({3, 5}), frozenset({2, 5}), frozenset({1, 3})]

k = 3

aprioriGen(Lk,3)

Я получаю следующий вывод

[frozenset({2, 3, 5})]

Я думаю, что в вышеприведенной логике есть ошибка, так как нам не хватает других комбинаций, таких как {1,2,3}, {1,3,5}.Не так ли?Правильно ли мое понимание?

Answer 1

Я думаю, что вы переходите по ссылке ниже, выходной набор зависит от того, что мы передали minSupport.

http://adataanalyst.com/machine-learning/apriori-algorithm-python-3-0/

Если мы уменьшим значение minSupport до 0,2, мы получим все наборы.

Ниже приведен полный код

# -*- coding: utf-8 -*-
"""
Created on Mon Dec 31 16:57:26 2018

@author: rponnurx
"""

from numpy import *

def loadDataSet():
    return [[1, 3, 4], [2, 3, 5], [1, 2, 3, 5], [2, 5]]

def createC1(dataSet):
    C1 = []
    for transaction in dataSet:
        for item in transaction:
            if not [item] in C1:
                C1.append([item])

    C1.sort()
    return list(map(frozenset, C1))#use frozen set so we
                            #can use it as a key in a dict  

def scanD(D, Ck, minSupport):
    ssCnt = {}
    for tid in D:
        for can in Ck:
            if can.issubset(tid):
                if not can in ssCnt: ssCnt[can]=1
                else: ssCnt[can] += 1
    numItems = float(len(D))
    retList = []
    supportData = {}
    for key in ssCnt:
        support = ssCnt[key]/numItems
        if support >= minSupport:
            retList.insert(0,key)
        supportData[key] = support
    return retList, supportData

dataSet = loadDataSet()
print(dataSet)

C1 = createC1(dataSet)

print(C1)

#D is a dataset in the setform.

D = list(map(set,dataSet))
print(D)

L1,suppDat0 = scanD(D,C1,0.5)
print(L1)

def aprioriGen(Lk, k): #creates Ck
    retList = []
    print("Lk")
    print(Lk)
    lenLk = len(Lk)
    for i in range(lenLk):
        for j in range(i+1, lenLk): 
            L1 = list(Lk[i])[:k-2]; L2 = list(Lk[j])[:k-2]
            L1.sort(); L2.sort()
            if L1==L2: #if first k-2 elements are equal
                retList.append(Lk[i] | Lk[j]) #set union
    return retList

def apriori(dataSet, minSupport = 0.5):
    C1 = createC1(dataSet)
    D = list(map(set, dataSet))
    L1, supportData = scanD(D, C1, minSupport)

    L = [L1]
    k = 2
    while (len(L[k-2]) > 0):
        Ck = aprioriGen(L[k-2], k)
        Lk, supK = scanD(D, Ck, minSupport)#scan DB to get Lk
        supportData.update(supK)
        L.append(Lk)
        k += 1
    return L, supportData

L,suppData = apriori(dataSet,0.2)

print(L)

Вывод: [[frozenset ({5}), frozenset ({2}), frozenset ({4}), frozenset ({3}), Frozenset ({1})], [Frozenset ({1, 2}), Frozenset ({1, 5}), Frozenset ({2, 3}), Frozenset ({3, 5}), Frozenset ({2, 5}), Frozenset ({1, 3}), Frozenset ({1, 4}), Frozenset ({3, 4})], [Frozenset ({1, 3, 5}), Frozenset ({1, 2, 3}), Frozenset ({1, 2, 5}), Frozenset ({2, 3, 5}), Frozenset ({1, 3, 4})], [Frozenset ({1, 2,3, 5})], []]

Спасибо, Раджесвари Поннуру