Использование предварительно обученного встраивания Word2vec в керас - PullRequest
Новая
       13

Использование предварительно обученного встраивания Word2vec в керас

0 голосов
/ 01 сентября 2018

Я обучил word2vec в gensim. В Керасе я хочу использовать его для составления матрицы предложений с использованием этого слова. По мере хранения матрицы все предложения занимают очень много места, а память неэффективна. Итак, я хочу сделать слой встраивания в Keras для достижения этого, чтобы его можно было использовать в следующих слоях (LSTM). Можете ли вы рассказать мне подробно, как это сделать?

PS: Это отличается от других вопросов, потому что я использую gensim для обучения word2vec вместо keras.

Ответы [ 3 ]

0 голосов
/ 08 апреля 2019

Мой код для обученной gensim модели w2v. Предположим, что все слова, обученные в модели w2v, теперь представляют собой переменную списка с именем all_words . 

from keras.preprocessing.text import Tokenizer
import gensim
import pandas as pd
import numpy as np
from itertools import chain

w2v = gensim.models.Word2Vec.load("models/w2v.model")
vocab = w2v.wv.vocab    
t = Tokenizer()

vocab_size = len(all_words) + 1
t.fit_on_texts(all_words)

def get_weight_matrix():
    # define weight matrix dimensions with all 0
    weight_matrix = np.zeros((vocab_size, w2v.vector_size))
    # step vocab, store vectors using the Tokenizer's integer mapping
    for i in range(len(all_words)):
        weight_matrix[i + 1] = w2v[all_words[i]]
    return weight_matrix

embedding_vectors = get_weight_matrix()
emb_layer = Embedding(vocab_size, output_dim=w2v.vector_size, weights=[embedding_vectors], input_length=FIXED_LENGTH, trainable=False)
0 голосов
/ 06 августа 2019

С новой версией Gensim это довольно просто: 

w2v_model.wv.get_keras_embedding(train_embeddings=False)

там у вас есть слой для встраивания Keras

0 голосов
/ 01 сентября 2018

Допустим, у вас есть следующие данные, которые вам нужно кодировать 

docs = ['Well done!',
        'Good work',
        'Great effort',
        'nice work',
        'Excellent!',
        'Weak',
        'Poor effort!',
        'not good',
        'poor work',
        'Could have done better.']

Вы должны затем токенизировать его, используя Tokenizer от Keras, как это, и найти vocab_size

t = Tokenizer()
t.fit_on_texts(docs)
vocab_size = len(t.word_index) + 1

Затем вы можете включить его в последовательности, подобные этой 

encoded_docs = t.texts_to_sequences(docs)
print(encoded_docs)

Затем вы можете дополнить последовательности так, чтобы все последовательности имели фиксированную длину 

max_length = 4
padded_docs = pad_sequences(encoded_docs, maxlen=max_length, padding='post')

Затем используйте модель word2vec, чтобы создать матрицу встраивания 

# load embedding as a dict
def load_embedding(filename):
    # load embedding into memory, skip first line
    file = open(filename,'r')
    lines = file.readlines()[1:]
    file.close()
    # create a map of words to vectors
    embedding = dict()
    for line in lines:
        parts = line.split()
        # key is string word, value is numpy array for vector
        embedding[parts[0]] = asarray(parts[1:], dtype='float32')
    return embedding

# create a weight matrix for the Embedding layer from a loaded embedding
def get_weight_matrix(embedding, vocab):
    # total vocabulary size plus 0 for unknown words
    vocab_size = len(vocab) + 1
    # define weight matrix dimensions with all 0
    weight_matrix = zeros((vocab_size, 100))
    # step vocab, store vectors using the Tokenizer's integer mapping
    for word, i in vocab.items():
        weight_matrix[i] = embedding.get(word)
    return weight_matrix

# load embedding from file
raw_embedding = load_embedding('embedding_word2vec.txt')
# get vectors in the right order
embedding_vectors = get_weight_matrix(raw_embedding, t.word_index)

Если у вас есть матрица встраивания, вы можете использовать ее в слое Embedding, как этот 

e = Embedding(vocab_size, 100, weights=[embedding_vectors], input_length=4, trainable=False)

Этот слой можно использовать для создания такой модели 

model = Sequential()
e = Embedding(vocab_size, 100, weights=[embedding_matrix], input_length=4, trainable=False)
model.add(e)
model.add(Flatten())
model.add(Dense(1, activation='sigmoid'))
# compile the model
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['acc'])
# summarize the model
print(model.summary())
# fit the model
model.fit(padded_docs, labels, epochs=50, verbose=0)

Все коды адаптированы из этого потрясающего сообщения в блоге. следуйте этому, чтобы узнать больше о Встраивания, используя Перчатку

Об использовании word2vec см. this post

...