Я использую слои встраивания Keras для создания вложений сущностей, ставших популярными в магазине продаж Kaggle Rossmann 3-е место. Однако я не уверен в том, как сопоставить вложения обратно с фактическими категориальными значениями. Давайте рассмотрим очень простой пример:
В приведенном ниже коде я создаю набор данных с двумя числовыми и одной категориальной функцией.
import numpy as np
import pandas as pd
from sklearn.datasets import make_classification
from keras.models import Model
from keras.layers import Input, Dense, Concatenate, Reshape, Dropout
from keras.layers.embeddings import Embedding
# create some fake data
data, labels = make_classification(n_classes=2, class_sep=2, n_informative=2,
n_redundant=0, flip_y=0, n_features=2,
n_clusters_per_class=1, n_samples=100,
random_state=10)
cat_col = np.random.choice(a=[0,1,2,3,4], size=100)
data = pd.DataFrame(data)
data[2] = cat_col
embed_cols = [2]
# converting data to list of lists, as the network expects to
# see the data in this format
def preproc(df):
data_list = []
# convert cols to list of lists
for c in embed_cols:
vals = np.unique(df[c])
val_map = {}
for i in range(len(vals)):
val_map[vals[i]] = vals[i]
data_list.append(df[c].map(val_map).values)
# the rest of the columns
other_cols = [c for c in df.columns if (not c in embed_cols)]
data_list.append(df[other_cols].values)
return data_list
data = preproc(data)
Для категориального столбца есть 5 уникальных значений:
print("Unique Values: ", np.unique(data[0]))
Out[01]: array([0, 1, 2, 3, 4])
, которые затем вводятся в модель Keras со слоем внедрения:
inputs = []
embeddings = []
input_cat_col = Input(shape=(1,))
embedding = Embedding(5, 3, input_length=1, name='cat_col')(input_cat_col)
embedding = Reshape(target_shape=(3,))(embedding)
inputs.append(input_cat_col)
embeddings.append(embedding)
# add the remaining two numeric columns from the 'data array' to the network
input_numeric = Input(shape=(2,))
embedding_numeric = Dense(8)(input_numeric)
inputs.append(input_numeric)
embeddings.append(embedding_numeric)
x = Concatenate()(embeddings)
output = Dense(1, activation='sigmoid')(x)
model = Model(inputs, output)
model.compile(loss='binary_crossentropy', optimizer='adam')
history = model.fit(data, labels,
epochs=10,
batch_size=32,
verbose=1,
validation_split=0.2)
Я могу получить фактические вложения, получив вес для слоя вложения:
embeddings = model.get_layer('cat_col').get_weights()[0]
print("Unique Values: ", np.unique(data[0]))
print("3 Dimensional Embedding: \n", embeddings)
Unique Values: [0 1 2 3 4]
3 Dimensional Embedding:
[[ 0.02749949 0.04238378 0.0080842 ]
[-0.00083209 0.01848664 0.0130044 ]
[-0.02784528 -0.00713446 -0.01167112]
[ 0.00265562 0.03886909 0.0138318 ]
[-0.01526615 0.01284053 -0.0403452 ]]
Однако я не уверен, как сопоставить их обратно. Можно ли предположить, что веса заказаны? Например, 0=[ 0.02749949 0.04238378 0.0080842 ]?