Каков наилучший способ обучения сети LSTM на пакетах последовательностей различной длины? - PullRequest
Новая
       35

Каков наилучший способ обучения сети LSTM на пакетах последовательностей различной длины?

2 голосов
/ 30 апреля 2020

Таким образом, у меня есть проблема последовательности для последовательности, где на входе находится множество многовариантных последовательностей разной длины, а на выходе - последовательность двоичных векторов, длина которых совпадает с длиной входных аналогов. Я сгруппировал последовательности одинаковой длины в отдельную папку и вызвал функцию подбора следующим образом: 

for e in range(epochs):
    print('Epoch', e+1)
    for i in range(3,19):
        train_x_batch,train_y_batch,batch_size= get_data(i)
        history=model.fit_(train_x_batch,train_y_batch,
                    batch_size=batch_size,
                    validation_split=0.15,
                    callbacks=[tensorboard_cb])

def get_data(i):
    train_x = np.load(os.path.join(cwd, "lab_values","batches",f"f_{i}","train_x.npy"), allow_pickle=True)
    train_y = np.load(os.path.join(cwd, "lab_values","batches",f"f_{i}","train_y.npy"), allow_pickle=True)
    print(f"batch no {i} Train X size= ", train_x.shape)
    print(f"batch no {i} Train Y size= ", train_y.shape)
    batch_Size=train_x.shape[0]
    return train_x,train_y,batch_size

, поэтому вопрос в том, есть ли лучший способ сделать это? Я слышал, что могу использовать генератор для этого, к сожалению, я не смог его реализовать.

1 Ответ

0 голосов
/ 06 мая 2020

Вы пытаетесь обучить все данные (npy file) вместо обучения модели в пакетном режиме.

Мы можем написать Generator и обучить модель в Batches.

Мы извлекаем пакеты данных из существующего Numpy файла, используя код,

train_x = np.load(os.path.join(cwd, "lab_values","batches",f"f_{i}","train_x.npy"), mmap_mode='r', allow_pickle=True)

и

x_batch = train_x[start:end].copy().

Полный код для Generator и код для Training показаны ниже: 

import numpy as np

for e in range(epochs):
    print('Epoch', e+1)
    for i in range(3,19):
        #train_x_batch,train_y_batch = get_data(i)
        batch_size = 32
        history=model.fit_(get_data(i),
                    batch_size=batch_size,
                    validation_split=0.15,
                    callbacks=[tensorboard_cb],epochs = 20
                          steps_per_epoch = 500, val_steps = 10)

def get_data(i):
    train_x = np.load(os.path.join(cwd, "lab_values","batches",f"f_{i}","train_x.npy"), 
                      mmap_mode='r', allow_pickle=True)
    train_y = np.load(os.path.join(cwd, "lab_values","batches",f"f_{i}","train_y.npy"),
                      mmap_mode='r', allow_pickle=True)
    print(f"batch no {i} Train X size= ", train_x.shape)
    print(f"batch no {i} Train Y size= ", train_y.shape)
    Number_Of_Rows = train_x.shape[0]
    batch_size = 32
    start = np.random.choice(Number_of_Rows - batch_size)
    end = start + batch_size
    x_batch = train_x[start:end].copy()
    y_batch = train_y[start:end].copy()        
    yield x_batch,y_batch

Для получения дополнительной информации, пожалуйста, обратитесь к этому SO вопрос и этот SO вопрос тоже.

...