Какой оптимизатор используется в сети yolo v2? - PullRequest
0 голосов
/ 05 сентября 2018

Я тестирую сеть darknet YOLO v2. В исходном коде есть опция, позволяющая использовать Adam Optimizer в файле cfg. Но я не использую Адама. Интересно, какой оптимизатор использует сеть YOLO, когда она не использует Адама? Я нашел часть, которая выполняет оптимизацию, но я не знаю, какой тип (имя) этой оптимизации. Ниже приведена часть кода YOLO v2.

void update_convolutional_layer_gpu(layer l, update_args a)
{
float learning_rate = a.learning_rate*l.learning_rate_scale;
float momentum = a.momentum;
float decay = a.decay;
int batch = a.batch;

int size = l.size*l.size*l.c*l.n;

if(a.adam){
    adam_update_gpu(l.weights_gpu, l.weight_updates_gpu, l.m_gpu, l.v_gpu, a.B1, a.B2, a.eps, decay, learning_rate, size, batch, a.t);
    adam_update_gpu(l.biases_gpu, l.bias_updates_gpu, l.bias_m_gpu, l.bias_v_gpu, a.B1, a.B2, a.eps, decay, learning_rate, l.n, batch, a.t);
    if(l.scales_gpu){
        adam_update_gpu(l.scales_gpu, l.scale_updates_gpu, l.scale_m_gpu, l.scale_v_gpu, a.B1, a.B2, a.eps, decay, learning_rate, l.n, batch, a.t);
    }
}else{
    axpy_gpu(size, -decay*batch, l.weights_gpu, 1, l.weight_updates_gpu, 1);
    axpy_gpu(size, learning_rate/batch, l.weight_updates_gpu, 1, l.weights_gpu, 1);
    scal_gpu(size, momentum, l.weight_updates_gpu, 1);

    axpy_gpu(l.n, learning_rate/batch, l.bias_updates_gpu, 1, l.biases_gpu, 1);
    scal_gpu(l.n, momentum, l.bias_updates_gpu, 1);

    if(l.scales_gpu){
        axpy_gpu(l.n, learning_rate/batch, l.scale_updates_gpu, 1, l.scales_gpu, 1);
        scal_gpu(l.n, momentum, l.scale_updates_gpu, 1);
    }
  }
}
...