Как вызвать `one_hot` в` keras` в python3?

Question

У меня есть код ниже python3:

docs = ['Well done!',
        'Good work',
        'Great effort',
        'nice work',
        'Excellent!',
        'Weak',
        'Poor effort!',
        'not good',
        'poor work',
        'Could have done better.']
# define class labels
labels = np.array([1,1,1,1,1,0,0,0,0,0])
from keras import backend as K


# integer encode the documents
vocab_size = 50
encoded_docs = [K.one_hot(d, vocab_size) for d in docs]
print(encoded_docs)

В основном я пытаюсь закодировать каждое слово из списка, но я получил эту ошибку:

TypeError: Value passed to parameter 'indices' has DataType string not in list of allowed values: uint8, int32, int64 .

Что не так в моем коде? Это похоже на ошибку типа, но я не понимаю, почему.

Answer 1

без преобразования в целое число, я использовал:

encoded_docs = [keras.preprocessing.text.one_hot(d,vocab_size)for d in docs]

Работает!

Answer 2

Keras one_hot метод ожидает, что первый аргумент будет целочисленным типом (в вашем регистре слов слов).Поэтому вам необходимо сначала сопоставить каждое слово уникальному целому числу, прежде чем использовать метод one_hot.

docs = ['Well done!',
        'Good work',
        'Great effort',
        'nice work',
        'Excellent!',
        'Weak',
        'Poor effort!',
        'not good',
        'poor work',
        'Could have done better.']
all_words = set()
for s in docs:
    for word in s.split():
        all_words.add(word)
all_words = list(all_words)
# define class labels
labels = np.array([1,1,1,1,1,0,0,0,0,0])
from keras import backend as K


# integer encode the documents
vocab_size = len(all_words)
encoded_docs = [[K.one_hot(all_words.index(word), vocab_size) for word in d.split()] for d in docs]
print(encoded_docs)

Если вы хотите закодировать пунктуацию как отдельные слова, то вы можете использовать модуль re для разделения слов.

import re
import string

encoded_docs = [[K.one_hot(all_words.index(word), vocab_size) for word in re.findall("[\w]+|["+string.punctuation+"]", d) for d in docs]