Обучение Neural Netowrk для встраивания слов - PullRequest
Новая
       33

Обучение Neural Netowrk для встраивания слов

0 голосов
/ 23 апреля 2019

В приложении - это файл ссылок для сущностей. Я хочу обучить нейронную сеть для представления каждой сущности в векторе. Прикрепите мой код для обучения 

import pandas as pd
import numpy as np

from numpy import array
from keras.preprocessing.text import one_hot

from keras.preprocessing.sequence import pad_sequences
from keras.models import Sequential
from keras.models import Model
from keras.layers import Dense
from keras.layers import Flatten
from keras.layers import Input


from keras.layers.embeddings import Embedding
from sklearn.model_selection import train_test_split 

file_path = '/content/drive/My Drive/Colab Notebooks/Deep Learning/NLP/Data/entities.txt'
df = pd.read_csv(file_path, delimiter = '\t', engine='python', quoting = 3, header = None)
df.columns = ['Entity']
Entity = df['Entity']

X_train, X_test = train_test_split(Entity, test_size = 0.10)
print('Total Entities: {}'.format(len(Entity)))
print('Training Entities: {}'.format(len(X_train)))
print('Test Entities: {}'.format(len(X_test)))
vocab_size = len(Entity)
X_train_encode = [one_hot(d, vocab_size,lower=True, split=' ') for d in X_train]
X_test_encode = [one_hot(d, vocab_size,lower=True, split=' ') for d in X_test]
model = Sequential()
model.add(Embedding(input_length=1,input_dim=vocab_size, output_dim=100))
model.add(Flatten())
model.add(Dense(vocab_size, activation='softmax'))

model.compile(optimizer='adam', loss='mse', metrics=['acc'])
print(model.summary())

model.fit(X_train_encode, X_train_encode, epochs=20, batch_size=1000, verbose=1)

При попытке выполнить код произошла следующая ошибка. 

Error when checking model input: the list of Numpy arrays that you are passing to your model is not the size the model expected. Expected to see 1 array(s), but instead got the following list of 34826 arrays:

1 Ответ

0 голосов
/ 23 апреля 2019

Вы передаете список пустых массивов для model.fit. Следующий код создает список массивов для x_train_encode и X_test_encode. 

X_train_encode = [one_hot(d, vocab_size,lower=True, split=' ') for d in X_train]
X_test_encode = [one_hot(d, vocab_size,lower=True, split=' ') for d in X_test]

Измените эти списки на массив numpy при передаче методу model.fit. 

X_train_encode = np.array(X_train_encode)
X_test_encode = np.array(X_test_encode)

И я не вижу необходимости в one_hot кодировать X_train и X_test, слой встраивания ожидает целое число (в ваших словах-индексах), а не одно горячее закодированное значение индексов слов. Поэтому, если X_train и X_test являются массивом индексов слов, вы можете напрямую передать это в метод model.fit.

EDIT:

В настоящее время используется потеря mse. Поскольку последний слой является слоем софтмакс, кросс-энтропийная потеря здесь более применима. А также выходные данные представляют собой целочисленные значения класса (слова), которые должны использоваться в качестве разреженных категорий для потери. 

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['acc'])
...