Результаты прямого подхода нейронной сети 0 - PullRequest
Новая
       1

Результаты прямого подхода нейронной сети 0

0 голосов
/ 26 февраля 2019

Я пытаюсь создать простую нейронную сеть с прямой связью в JavaScript, используя учебник, найденный здесь .Я считаю, что правильно следовал учебному пособию, поскольку, когда я обучил его с матрицей ввода [[0,0,1],[0,1,1],[1,0,1],[1,1,1]] и матрицей решения [[0],[1],[1],[0]], сеть работала так, как ожидалось.Однако когда я попытался обучить сеть, используя базу данных рукописных чисел MNIST и передавая более крупные матрицы, все элементы в выходном массиве приблизились к нулю.Я подозреваю, что это связано с точечным произведением входного массива и весами, возвращающими массив, заполненный большими числами, но мои попытки уменьшить эти числа привели к тому, что выходные данные приблизились к 1. Кто-нибудь сможет выяснить, чтоидет не так?Моя нейронная сеть имеет только один скрытый слой с 300 нейронами.Фрагмент кода ниже показывает методы для моей нейронной сети, потому что я считаю, что именно здесь я ошибаюсь, но если вы хотите увидеть всю мою грязную, недокументированную программу, ее можно найти здесь .Я не знаком с библиотекой математики, которую я использую, а это значит, что я создал несколько своих собственных методов для работы с методами математики.

  • multMatrices (a, b) возвращает произведение матрица и б.
  • math.multiply (a, b) возвращает точечное произведение двух матриц.
  • math.add (a, b) и math.subtract (a, b) выполняют сложение и вычитание матрицы, а
  • transposeMatrix (a) возвращает транспонирование матрицы a.
  • setAll (a, b) выполняет операцию над каждым элементом матрицы a, будь то вставка элемента в сигмовидную функцию (1 / (1 + a ^ -e)) в случае «сигмоида»или функция производной сигмоида (a * (1-a)) в случае «sigmoidDerivitive», или установка ее равной случайному значению в диапазоне от 0 до 0,05 в случае «randomlow».

Я обнаружил, что при установке весов на значение от 0 до 1 потери остаются равными 0,9, поэтому я теперь устанавливаю их, используя "randomlow". 

function NeuralNetwork(x, y){
    //Initializing the neural network
    this.input = x;
    this.y = y;
    this.sizes = [this.input._size[1], 300, this.y._size[1]];
    this.layers = this.sizes.length - 1;
    this.lyrs = [this.input];
    this.weights = [];
    this.dweights = [];
    for(var i = 0; i < this.layers; i ++){
        this.weights.push(new math.matrix());
        this.weights[i].resize([this.sizes[i], this.sizes[i + 1]]);
        this.weights[i] = setAll(this.weights[i], "randomlow");
    }
    this.output = new math.matrix();
    this.output.resize(this.y._size);
};

NeuralNetwork.prototype.set = function(x, y){
    //I train the network by looping through values from the database and passing them into this function
    this.input = x;
    this.lyrs = [this.input];
    this.y = y;
};

NeuralNetwork.prototype.feedforward = function(){
    //Looping through the layers and multiplying them by their respective weights
    for(var i = 0; i < this.weights.length; i ++){
        this.lyrs[i + 1] = math.multiply(this.lyrs[i], this.weights[i]);
        this.lyrs[i + 1] = setAll(this.lyrs[i + 1], "sigmoid");
    }
    this.output = this.lyrs[this.lyrs.length - 1];
};

NeuralNetwork.prototype.backpropogate = function(){
//Backpropogating the network. I don't fully understand this part
this.antis = [
function(a, b, c){
    return(
    math.multiply(transposeMatrix(a[0]), multMatrices(math.multiply(multMatrices(math.multiply(math.subtract(b.y, b.output), 2), setAll(b.output, "sigmoidDerivitive")), transposeMatrix(c)), setAll(a[1], "sigmoidDerivitive")))
    );
},
function(a, b, c){
    return(
    math.multiply(transposeMatrix(a[0]), multMatrices(math.multiply(math.subtract(b.y, b.output), 2), setAll(b.output, "sigmoidDerivitive")))
    );
}];
this.input = [];
this.weightInput = 0;
for(var i = this.weights.length - 1; i >= 0; --i){
    this.input.unshift(this.lyrs[i]);
    this.weightInput = (i === this.weights.length - 1 ? 0 : this.weights[i + 1]);
    this.dweights[i] = this.antis[i](this.input, this, this.weightInput);
}
for(var i = 0; i < this.dweights.length; i ++){
this.weights[i] = math.add(this.weights[i], this.dweights[i]);
}
};

Как всегда, я ценю любое время, потраченное на решение моей проблемы.Если мой код неразборчив, не беспокойтесь об этом.Скорее всего, JavaScript не лучший язык для этой цели, но я не хотел следовать учебнику на том же языке.

РЕДАКТИРОВАТЬ: Это потенциальный дубликат этот пост , на который был дан ответ.Если кто-то сталкивается с этой проблемой, он должен посмотреть, поможет ли вам ответ.На данный момент я не тестировал его с моей программой.

...