Лимитное количество токенов, выдача керас - PullRequest
Новая
       37

Лимитное количество токенов, выдача керас

0 голосов
/ 10 октября 2018

Я пытался ограничить токены моей модели nlp до vocab_size = 2000 с использованием токерайзера keras;однако я не понимаю, почему, когда я пытаюсь подсчитать типы независимых токенов, я получаю в общей сложности 690960 токенов.Мой код использует базу данных Sentiment140 в Kaggle: https://www.kaggle.com/kazanova/sentiment140

Мой код: 

# coding=latin-1
import pandas as pd
import numpy as np
import os
from timeit import default_timer as timer
from keras.utils import to_categorical
from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_sequences

#Hyperparameters
max_sequence_length = 200
vocab_size = 2000

#Load data
Base_Dir = ''
Text_Data_Dir = os.path.join(Base_Dir, 'Sentiment140.csv')
df = pd.read_csv(Text_Data_Dir, encoding='latin-1', header=None)

#Organize columns
df.columns = ['sentiment', 'id', 'date', 'q', 'user', 'text']
df = df[df.sentiment != 2]
df['sentiment'] = df['sentiment'].map({0: 0, 4: 1})
df = df.drop(['id', 'date', 'q', 'user'], axis=1)
df = df[['text','sentiment']]

#Preprocessing
tokenizer = Tokenizer(num_words=vocab_size)
tokenizer.fit_on_texts(df.text)
sequences = tokenizer.texts_to_sequences(df.text)
word_index = tokenizer.word_index
print('Found %s unique tokens.' % len(word_index))

preprocessed_text = pad_sequences(sequences, maxlen=max_sequence_length)
labels = df.sentiment
labels = to_categorical(np.asarray(labels))
print('Shape of data tensor:', preprocessed_text.shape)
print('Shape of label tensor:', labels.shape)

Я действительно застрял в тот момент, когда эта комбинация различных токенов делает мою модель более подходящей.перебор.Может ли кто-нибудь дать мне подсказку о том, что я ошибаюсь?

Большое спасибо заранее!

...