правильный пакетный слой нормализации в python - PullRequest
Новая
       11

правильный пакетный слой нормализации в python

0 голосов
/ 05 ноября 2018

Я реализую простую нейронную сеть в Python для образовательных целей. Полносвязный слой выглядит следующим образом 

class FullconnecedLayer:

    def forward(self,input):

       self.input = input        
       return np.dot(self.weights,input) + self.bias

    def backprop(self,dOut):

        self.dWeights += self.input*np.sum(dOut)*(1.0/self.batchSize)
        self.dBias += dOut*(1.0/self.batchSize)
        return self.weights*np.sum(dOut)

    def update(self,learningRate):

       self.weights = self.weights - learningRate*self.dWeights
       self.bias = self.bias  - learningRate*self.dBias

Но теперь я хочу реализовать пакетный нормализационный слой. И этот слой нуждается в информации о всей партии. Что, по вашему мнению, является правильным способом реализации этого?

Исходные данные нормализации партии:

...