Правильный ли способ ввода для LSTM - PullRequest
Новая
       38

Правильный ли способ ввода для LSTM

0 голосов
/ 11 октября 2019

Весь код работает без ошибок, я пытался применить модели LSTM (даже изменил количество слоев и оптимизатор, но точность осталась прежней). Даже манипулировал данными (уменьшал размеры и ввод, но там былоизменений не было) Вход и выход оба имеют горячее кодирование, например: ОН ХОРОШИЙ МАЛЬЧИК. total_vocab_size = 5 input = [1 0 0 0 0] output = [0 1 0 0 0] теперь для следующей итерации выходные данные становятся входными. Может кто-нибудь помочь мне, где я иду не так? Является ли мой способ ввода ввода правильным или нет, а также я должен попробовать использовать вложение слова 

text_data=open('thousand.txt','r')
text_data=text_data.read()
text_data=str(text_data)
text_data=text_data.lower()
text_data=text_data.split()
final_words=pd.DataFrame(text_data)
final_words=final_words.drop_duplicates(subset=0)
final_words=list(final_words[0])

text_data=[] # this was mandatory to avoid memory conflicts #
''' now we have the set of words'''
''' we will work towards seggregrating the sentences''' 
text_data=open('results.txt','r',encoding='utf16')
text_data=text_data.read()
text_data=str(text_data)
text_data=text_data.lower()
text_data=text_data.splitlines()

total_lines=text_data
text_data=[]


i=0
j=0
final_list_converted_to_matrix=[]
while i<10000:
    str1=str(total_lines[i])
    str1=str1.lower()
    str1=str1.split()
    ''' now out matrix is ready with the split words '''


    j=0
    while j<len(str1):
         lister=[]
         m=0
         while m<200:
             lister.append(0)
             m=m+1

         res=str1[j]
         k=0
         while k<200:
             if res==final_words[k]:
                 lister[k]=1
                 break
             k=k+1
         final_list_converted_to_matrix.append(lister)
         j=j+1

    i=i+3
    print(i)
...