Преобразование пользователей (повторяющихся в нескольких строках) и элементов в кадре данных в метизированный бинарный кадр данных - PullRequest
Новая
       28

Преобразование пользователей (повторяющихся в нескольких строках) и элементов в кадре данных в метизированный бинарный кадр данных

3 голосов
/ 16 октября 2019

У меня есть DataFrame, который выглядит следующим образом 

df = pd.DataFrame([
    ['a', 1], 
    ['b', 1],
    ['c', 1],
    ['a', 2], 
    ['c', 3], 
    ['b', 4], 
    ['c', 4]
], columns=['item', 'user'])

, где каждый пользователь повторяется в нескольких строках (с разными элементами).

Я хотел бы выполнить LabelEncoder / LabelBinarizer какпреобразовать (??), чтобы преобразовать DataFrame во что-то, похожее на это: 

pd.DataFrame([
    [1, 1, 1], #user 1
    [1, 0, 0], #user 2
    [0, 0, 1], #user 3
    [0, 1, 1]  #user 4
], columns=['a', 'b', 'c'])

Я, скорее всего, не хочу использовать панд (pivot, get_dummies, crosstab), потому что яхотите передать нового пользователя преобразователю: 

new_user = pd.DataFrame([
    ['c', 5], 
    ['d', 5]
], columns=['item', 'user'])

и получить что-то вроде этого: 

[0, 0, 1]

Важно : решение должно найти решение для нового пользователярегистр (и пропущенный элемент 'd') и сохранение порядка столбцов и размеров

Ответы [ 3 ]

2 голосов
/ 16 октября 2019
  • О, мальчик. Вот что я придумал.
  • Длинная цепь. Я сломаю это. 
import pandas as pd
def encode(l):
    return pd.DataFrame(l, columns=['item', 'user'])['item'].unique()

# create dataframe
# group by and get dummies
# remove unncessary colums which are not part of encoding class
# apply to create list
def add_user(l, _key_):
    return  pd.DataFrame(l, columns=['item', 'user']).\
            groupby('user')['item'].apply('|'.join).str.get_dummies().\
            reindex(columns=_key_).fillna(0).astype('int').\
            apply(lambda x: list(x), axis=1)

_key_ = encode ([
    ['a', 1], 
    ['b', 1],
    ['c', 1],
    ['a', 2], 
    ['c', 3], 
    ['b', 4], 
    ['c', 4]
])

add_user([
    ['a', 1], 
    ['b', 1],
    ['c', 1],
    ['a', 2], 
    ['c', 3], 
    ['b', 4], 
    ['c', 4]
], _key_)

Вывод: 

user
1    [1, 1, 1]
2    [1, 0, 0]
3    [0, 0, 1]
4    [0, 1, 1]

add_user([['b',5],['d', 5]], _key_)

Вывод: 

user
5    [0, 1, 0]
  • encode сгенерирует начальный keys для вашего кодера.
  • add_user, вы можете вызывать эту функцию для каждого нового пользователя.
  • ПримечаниеВы можете reset_index, чтобы получить user столбец.

Soulution 2:

  • на основе ответа @ WeNYoBen. 
import pandas as pd
df = pd.DataFrame([
    ['a', 1], 
    ['b', 1],
    ['c', 1],
    ['a', 2], 
    ['c', 3], 
    ['b', 4], 
    ['c', 4]
], columns=['item', 'user'])
_key_ = df.item.unique()
def add_user(l, _key_):
    df = pd.DataFrame(l, columns=['item','user'])
    return pd.crosstab(df.user, df.item).reindex(columns=_key_.tolist()).fillna(0).astype('int').apply(list, axis=1)

add_user([['b',5],['d', 5]], _key_)
  • Не читаетсяверсия функции add_user. 
def add_user(l, _key_):
    return pd.crosstab(*[[list(x)] for x in list(zip(*l))[::-1]]).reindex(columns=_key_.tolist()).fillna(0).astype('int').apply(list, axis=1)
1 голос
/ 18 октября 2019

Решение с некоторым стандартным scikit-learn: 

from sklearn.feature_extraction.text import CountVectorizer

def squish(df, user='user', item='item'):
    df = df.groupby([user])[item].apply(lambda x: ','.join(x))
    X = pd.DataFrame(df)[item]
    return X

cv = CountVectorizer(tokenizer=lambda x: x.split(','))
X = squish(df)
cv.fit_transform(X).todense()

, которое будет производить: 

# matrix([[1, 1, 1],
#         [1, 0, 0],
#         [0, 0, 1],
#         [0, 1, 1]], dtype=int64)

Это также решает для нового пользовательского случая: 

new_user = pd.DataFrame([
    ['c', 5],
    ['d', 5]
], columns=['item', 'user'])

X_new = squish(new_user)
cv.transform(X_new).todense()

Правильно дает: 

# matrix([[0, 0, 1]])
1 голос
/ 17 октября 2019

Для этой задачи я бы создал класс Encoder, например: 

class Encoder:

    def __init__(self):
        self.items = None

    def transform(self, lst):
        """Returns a dictionary where the keys are the users_ids and the values are the encoded items"""
        if self.items is None:
            self.items = self.__items(lst)

        users = {}
        for item, user in lst:
            users.setdefault(user, set()).add(item)

        return {user: np.array([item in basket for item in self.items], dtype=np.uint8) for user, basket in users.items()}

    def reset(self):
        self.items = None

    @staticmethod
    def __items(lst):
        seen = set()
        items = []
        for item, _ in lst:
            if item not in seen:
                items.append(item)
                seen.add(item)
        return items

Затем вы можете использовать его следующим образом: 

encoder = Encoder()
result = encoder.transform(df.values.tolist())  # here df is your original DataFrame
df_result = pd.DataFrame(data=result.values(), columns=encoder.items, index=result.keys())
print(df_result)

Вывод

   a  b  c
1  1  1  1
2  1  0  0
3  0  0  1
4  0  1  1

Обратите внимание, что индекс в df_result - это пользователи. Тогда новый случай может быть обработан так: 

new_user = pd.DataFrame([
    ['c', 5],
    ['d', 5]
], columns=['item', 'user'])
new_user_result = encoder.transform(new_user.values.tolist())
print(pd.DataFrame(data=new_user_result.values(), columns=encoder.items, index=new_user_result.keys()))

Вывод 

   a  b  c
5  0  0  1

Получение списка и возврат словаря - более гибкий подход, по крайней мерена мой взгляд. Также возвращение словаря будет обрабатывать случай, когда пользователи не являются последовательными целыми числами (например, они могут быть UUID). Наконец, в классе Encoder у вас также есть метод сброса, по существу забывающий элементы.

...