Как я могу горячо закодировать список строк с помощью Keras?

Question

У меня есть список:

code = ['<s>', 'are', 'defined', 'in', 'the', '"editable', 'parameters"', '\n', 'section.', '\n', 'A', 'larger', '`tsteps`', 'value', 'means', 'that', 'the', 'LSTM', 'will', 'need', 'more', 'memory', '\n', 'to', 'figure', 'out']

И я хочу преобразовать в одну горячую кодировку.Я пытался:

to_categorical(code)

И я получаю сообщение об ошибке: ValueError: invalid literal for int() with base 10: '<s>'

Что я делаю не так?

Answer 1

keras поддерживает только горячее кодирование для данных, которые уже были целочисленными.Вы можете вручную целочисленно кодировать свои строки следующим образом:

Ручное кодирование

# this integer encoding is purely based on position, you can do this in other ways
integer_mapping = {x: i for i,x in enumerate(code)}

vec = [integer_mapping[word] for word in code]
# vec is
# [0, 1, 2, 3, 16, 5, 6, 22, 8, 22, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25]

Использование scikit-learn

from sklearn.preprocessing import LabelEncoder
import numpy as np

code = np.array(code)

label_encoder = LabelEncoder()
vec = label_encoder.fit_transform(code)

# array([ 2,  6,  7,  9, 19,  1, 16,  0, 17,  0,  3, 10,  5, 21, 11, 18, 19,
#         4, 22, 14, 13, 12,  0, 20,  8, 15])

Теперь вы можете передать это в keras.utils.to_categorical:

from keras.utils import to_categorical

to_categorical(vec)

Answer 2

Попробуйте сначала преобразовать его в массив numpy:

from numpy import array

и затем:

to_categorical(array(code))