Топ k категориальной точности для результатов LSTM с распределением по времени - PullRequest
Новая
       30

Топ k категориальной точности для результатов LSTM с распределением по времени

1 голос
/ 25 сентября 2019

Я пытаюсь оценить результаты LSTM, используя top_k_categorical_accuracy.

Для каждого закодированного токена One-Hot, я пытаюсь предсказать следующий токен.Чтобы сделать это, я беру выходные данные для каждого экземпляра в последовательности, используя слой-оболочку TimeDistributed, и передаю его на плотный слой, чтобы перекодировать результаты в ту же кодировку One-Hot.

При использовании встроенной метрики точности metrics=['accuracy'] работает без помехи, при использовании top_k_categorical_accuracy происходит сбой, и выдается сообщение об ошибке: 

ValueError: Shape must be rank 2 but is rank 3 for 'metrics/my_acc/in_top_k/InTopKV2' (op: 'InTopKV2') with input shapes: [?,?,501], [?,?], [].

Что мне нужно изменить, чтобы эта метрика работала?

Мой код выглядит следующим образом: 

import numpy as np
import glob

import keras
from keras.models import Sequential
from keras.layers import LSTM, Dense, TimeDistributed,Lambda, Dropout, Activation
from keras.metrics import top_k_categorical_accuracy




train_val_split=0.2 # portion to be placed in validation


train_control_number=0
val_control_number=0


def my_acc(y_true, y_pred):
    return top_k_categorical_accuracy(y_true, y_pred, k=5)


def basic_LSTM(features_num):
    model = Sequential()
    model.add(LSTM(40, return_sequences=True, input_shape=(None, features_num)))
    model.add(LSTM(40, return_sequences=True))
    model.add(LSTM(40, return_sequences=True))

    model.add(TimeDistributed(Dense(features_num)))
    model.add(Activation('linear')) 

    print(model.summary())
    model.compile(loss='categorical_crossentropy', optimizer='adam',metrics=[my_acc])   
    return (model)


def main ():
    input_files=glob.glob('*npy')
    data_list,dim=loader(input_files)
    train_list,val_list=data_spliter(data_list)
    model=basic_LSTM(dim)
    model.fit_generator(train_generator(train_list), steps_per_epoch=len(train_list), epochs=10, verbose=1,validation_data=val_generator(val_list),validation_steps=len(val_list))




def train_generator(data_list):
    while True:
        global train_control_number
        train_control_number=cycle_throught(len(data_list),train_control_number)    
        this=data_list[train_control_number]
        x_train = this [:,:-1,:] # all but the last 1
        y_train = this [:,1:,:] # all but the first 1

        yield (x_train, y_train)




def val_generator(data_list):
    while True:
        global val_control_number
        val_control_number=cycle_throught(len(data_list),val_control_number)    
        this=data_list[val_control_number]
        x_train = this [:,:-1,:] # all but the last 1
        y_train = this [:,1:,:] # all but the first 1

        yield (x_train, y_train)



def cycle_throught (total,current):
    current+=1
    if (current==total):
        current=0
    return (current)


def loader(input_files):

    data_list=[]

    for input_file in input_files:
        a=np.load (input_file)
        incoming_shape=list(a.shape)
        requested_shape=[1]+incoming_shape
        a=a.reshape(requested_shape)
        data_list.append(a)


    return (data_list,incoming_shape[-1])


def data_spliter(input_list):
    val_num=int(len(input_list)*train_val_split)
    validation=input_list[:val_num]
    train=input_list[val_num:]

    return (train,validation)



main()

Большое спасибо.

1 Ответ

1 голос
/ 25 сентября 2019

Вы можете преобразовать свои данные в двухмерный тензор в рамках пользовательской метрики, чтобы она соответствовала требуемой форме, не затрагивая последнюю ось: 

import keras.backend as K #or tf.keras.backend as K    

def 3D_top_k(true, pred):
    true = K.reshape(true, (-1, features_num))   
    pred = K.reshape(pred, (-1, features_num))
    return top_k_categorical_accuracy(true, pred, k=5)
...