преобразовать данные представления пользователя / элемента в 2D-метрику - PullRequest
Новая
       7

преобразовать данные представления пользователя / элемента в 2D-метрику

0 голосов
/ 23 октября 2018

Данные о просмотре пользователя / элемента доступны, как показано ниже 

User  Item 
Louis    1
Louis    2
Adam     1
Adam     3

И я хочу преобразовать их в элемент по метрике элемента, например 

    1  2  3
1   0  1  1
2   1  0  0
3   1  0  0

Таким образом, каждое значение представляет собой «числочеловек, который смотрел, я также смотрел J ".(диагональное значение не имеет значения)

Есть ли какой-нибудь эффективный способ сделать это?

Ниже приведен мой код, но его выполнение заняло много времени, когда имеется около 50 000 элементов и 500 000 записей.

import pandas as pd
import numpy as np
from scipy.sparse import csr_matrix, lil_matrix
raw = pd.DataFrame(columns=['user','item'])
raw['user']=['Louis','Louis','Adam','Adam']
raw['item']=[1,2,1,3]

item_list = raw.item.unique().tolist()
user_list = raw.user.unique().tolist()
m = lil_matrix((len(raw.item.unique()),len(raw.item.unique())))
for user in user_list:
    temp = raw.loc[np.in1d(raw['user'], user)].item
    if len(temp) > 1:
        for idx1, id1 in enumerate(temp[0:-1]):
            for id2 in temp[idx1+1:]:
                m[item_list.index(id1),item_list.index(id2)]+=1
                m[item_list.index(id2),item_list.index(id1)]+=1
m.toarray()

1 Ответ

0 голосов
/ 23 октября 2018

Вы можете использовать 

In [147]: dff = pd.crosstab(df.Item, df.User)

In [148]: dff = dff.dot(dff.T)

In [149]: np.fill_diagonal(dff.values, 0)

In [150]: dff
Out[150]:
Item  1  2  3
Item
1     0  1  1
2     1  0  0
3     1  0  0
...