Ошибка памяти в нейронной сети с пакетированием файлов CSV

Question

Получил код Python для нейронной сети. Я хочу обучить сеть, чтобы узнать, является ли изображение техническим рисунком или нет. Поэтому я получил набор обучающих изображений, около 45 файлов, и набор тестовых изображений, около 2000 файлов. Я преобразовал все файлы в большие изображения в оттенках серого размером 28x28 и преобразовал их в поезд и тестовый CSV-файл. Затем я настроил выходные узлы и изменил путь к обоим csvfiles. Я добавил пакетный процесс с pandas, чтобы читать csv-файлы по частям. Я сделал так, чтобы предотвратить ошибку памяти, потому что csv-файл тестовых данных превышает 14 ГБ.

Это код для нейронной сети:

import numpy as np
import scipy.special
from tqdm import tqdm
import csv
import pandas as pd

class neuralNetwork:

    def __init__(self, inputnodes, hiddennodes, outputnodes, learningrate):
        self.inode = inputnodes
        self.hnode = hiddennodes
        self.onode = outputnodes
# =============================================================================
#         self.wih=np.random.normal(0.0,pow(self.inode,-0.5),(self.hnode,self.inode))
#         self.who=np.random.normal(0.0,pow(self.hnode,-0.5),(self.onode,self.hnode))
# =============================================================================
        self.wih = np.random.normal(0, pow(self.hnode, -0.5), (self.hnode, self.inode))
        self.who = np.random.normal(0, pow(self.onode, -0.5), (self.onode, self.hnode))
        self.lr = learningrate
        self.activation_function = lambda x: scipy.special.expit(x)
        pass

    def train(self, inputs_list, targets_list):
        inputs = np.array(inputs_list, ndmin=2).T
        targets = np.array(targets_list, ndmin=2).T
        hidden_inputs = np.dot(self.wih, inputs)
        hidden_outputs = self.activation_function(hidden_inputs)
        final_inputs = np.dot(self.who, hidden_outputs)
        final_outputs = self.activation_function(final_inputs)
        output_errors = targets - final_outputs
        hidden_errors = np.dot(self.who.T, output_errors) 
        self.who += self.lr * np.dot((output_errors * final_outputs 
        * (1.0 - final_outputs)), np.transpose(hidden_outputs))
        self.wih += self.lr * np.dot((hidden_errors * hidden_outputs 
        * (1.0 - hidden_outputs)), np.transpose(inputs))
        pass

    def test(self, inputs_list):
        inputs = np.array(inputs_list, ndmin=2).T
        hidden_inputs = np.dot(self.wih, inputs)
        hidden_outputs = self.activation_function(hidden_inputs)
        final_inputs = np.dot(self.who, hidden_outputs)
        final_outputs = self.activation_function(final_inputs)
        return final_outputs

input_nodes = 784
hidden_nodes = 500
output_nodes = 100000
learning_rate = 0.1
epochs = 5
chunksize = 5

n = neuralNetwork(input_nodes,hidden_nodes,output_nodes, learning_rate)
training_data_file = open("C:/Users/Anwender/Documents/Uni/KI/Python/train.csv", 'r')

#training_data_list = training_data_file.readlines()
#training_data_file.close()
for chunk in pd.read_csv(training_data_file, chunksize=chunksize):
    process(chunk)
for e in range(epochs):
    for record in tqdm(get_chunk()): # train on this record
        all_values = record.split(',')
        inputs = (np.asfarray(all_values[1:]) / 255.0 * 0.99) + 0.01
        targets = np.zeros(output_nodes) + 0.01
        targets[int(float(all_values[0]))] = 0.99
        n.train(inputs, targets)
        pass
    pass

    test_data_file = open("C:/Users/Anwender/Documents/Uni/KI/Python/test.csv", 'r')
#test_data_list = test_data_file.readlines()
#test_data_file.close()

scorecard = []
for chunk in pd.read_csv(test_data_file, chunksize=chunksize):
    process(chunk)
for record in test_data_list:

    all_values = record.split(',')
    correct_label = int(all_values[0])
    inputs = (np.asfarray(all_values[1:]) / 255.0 * 0.99) + 0.01
    outputs = n.test(inputs)
    label = np.argmax(outputs)
    if (label == correct_label):
        scorecard.append(1)
    else:
        scorecard.append(0)
        pass
    pass

scorecard_array = np.asarray(scorecard)
print ("Genauigkeit = ", scorecard_array.sum() / scorecard_array.size)

Тем не менее, я получаю ошибку памяти при попытке запустить сеть. Полное сообщение об ошибке:

Traceback (последний вызов был последним): Файл "C: \ Users \ Anwender \ Documents \ Uni \ KI \ Python \ code_nn__tech_draw.py", строка 58, в для чанка в pd.read_csv (training_data_file, chunksize = chunksize): Файл "C: \ Users \ Anwender \ AppData \ Local \ Programs \ Python \ Python36-32 \ lib \ site-packages \ pandas \ io \ parsers.py", строка 1115, в далее вернуть self.get_chunk () Файл "C: \ Users \ Anwender \ AppData \ Local \ Programs \ Python \ Python36-32 \ lib \ site-packages \ pandas \ io \ parsers.py", строка 1173, в get_chunk вернуть self.read (nrows = размер) Файл "C: \ Users \ Anwender \ AppData \ Local \ Programs \ Python \ Python36-32 \ lib \ site-packages \ pandas \ io \ parsers.py", строка 1139, для чтения ret = self._engine.read (nrows) Файл "C: \ Users \ Anwender \ AppData \ Local \ Programs \ Python \ Python36-32 \ lib \ site-packages \ pandas \ io \ parsers.py", строка 2039, для чтения index = sure_index_from_sequence (массивы) Файл "C: \ Users \ Anwender \ AppData \ Local \ Programs \ Python \ Python36-32 \ lib \ site-packages \ pandas \ core \ indexes \ base.py", строка 5315, в sure_index_from_sequence. вернуть MultiIndex.from_arrays (последовательности, имена = имена) Файл "C: \ Users \ Anwender \ AppData \ Local \ Programs \ Python \ Python36-32 \ lib \ site-packages \ pandas \ core \ indexes \ multi.py", строка 340, в from_arrays коды, уровни = _factorize_from_iterables (массивы) Файл "C: \ Users \ Anwender \ AppData \ Local \ Programs \ Python \ Python36-32 \ lib \ site-packages \ pandas \ core \ arrays \ categoryorical.py", строка 2708, в _factorize_from_iterables возврат карты (список, lzip ( [_ factorize_from_iterable (it) для него в итерируемых])) Файл "C: \ Users \ Anwender \ AppData \ Local \ Programs \ Python \ Python36-32 \ lib \ site-packages \ pandas \ core \ arrays \ categoryorical.py", строка 2708, в возврат карты (список, lzip ( [_ factorize_from_iterable (it) для него в итерируемых])) MemoryError