Модель Keras соответствует значению ValueError, ожидаемому, что input_1 будет на одно число больше размера моего массива

Question

Я пытаюсь создать нейронную сеть автоэнкодера для поиска выбросов с помощью Keras TensorFlow, мои данные представляют собой список текстов по одному слову в строке, это следующее: https://pastebin.com/hEvm6qWg в нем 139 строк.

Когда я подгоняю свою модель к своим данным, я получаю ошибку:

ValueError: Error when checking input: expected input_1 to have shape (139,) but got array with shape (140,)

Но я не могу сказать, почему он распознает его как массив форм 140, весь мой код выглядит следующим образом:

from keras import Input, Model
from keras.layers import Dense
from keras.preprocessing.text import Tokenizer

with open('drawables.txt', 'r') as arquivo:
    dados = arquivo.read().splitlines()

tokenizer = Tokenizer(filters='')
tokenizer.fit_on_texts(dados)

x_dados = tokenizer.texts_to_matrix(dados, mode="freq")

tamanho = len(tokenizer.word_index)

x = Input(shape=(tamanho,))

# Encoder
hidden_1 = Dense(tamanho, activation='relu')(x)
h = Dense(tamanho, activation='relu')(hidden_1)

# Decoder
hidden_2 = Dense(tamanho, activation='relu')(h)
r = Dense(tamanho, activation='sigmoid')(hidden_2)

autoencoder = Model(input=x, output=r)

autoencoder.compile(optimizer='adam', loss='mse')

autoencoder.fit(x_dados, epochs=5, shuffle=False)

Я совершенно потерян, я даже не могу сказать, правильный ли мой подход к сети авто-кодировщика, что я делаю неправильно?

Answer 1

word_index в Tokenizer начинаться с 1, а не с нуля

Пример:

tokenizer = Tokenizer(filters='')
tokenizer.fit_on_texts(["this a cat", "this is a dog"])
print (tokenizer.word_index)

Выход:

{'this': 1, 'a': 2, 'cat': 3, 'is': 4, 'dog': 5}

Индекс начинается с 1 нес нуля.Поэтому, когда мы создаем матрицу term frequency с использованием этих индексов

x_dados = tokenizer.texts_to_matrix(["this a cat", "this is a dog"], mode="freq")

Форма x_dados будет 2x6, потому что числовые массивы индексируются из 0.

, поэтому no: of columnsв x_dados = 1+len(tokenizer.word_index)

Таким образом, чтобы исправить ваш код изменения

tamanho = len(tokenizer.word_index)

на

tamanho = len(tokenizer.word_index) + 1

Рабочий образец:

dados = ["this is a  cat", "that is a dog and a cat"]*100
tokenizer = Tokenizer(filters='')
tokenizer.fit_on_texts(dados)

x_dados = tokenizer.texts_to_matrix(dados, mode="freq")
tamanho = len(tokenizer.word_index)+1
x = Input(shape=(tamanho,))

# Encoder
hidden_1 = Dense(tamanho, activation='relu')(x)
h = Dense(tamanho, activation='relu')(hidden_1)

# Decoder
hidden_2 = Dense(tamanho, activation='relu')(h)
r = Dense(tamanho, activation='sigmoid')(hidden_2)

autoencoder = Model(input=x, output=r)
print (autoencoder.summary())

autoencoder.compile(optimizer='adam', loss='mse')
autoencoder.fit(x_dados, x_dados, epochs=5, shuffle=False)