Джулия Флукс с двойным выводом - PullRequest
Новая
       59

Джулия Флукс с двойным выводом

2 голосов
/ 30 марта 2020

Недавно я обнаружил, что Джулия Ланг стала более сильной, и пришло время вернуться к ней снова. Но в каждом уроке я обнаруживал одну и ту же проблему с двойным логическим выводом - для каждого пакета вы должны вычислить модель, чтобы получить градиенты, а затем пересчитать ее, чтобы получить потери и другие показатели. Это кажется смешным, и это должен быть выход. Могу ли я получить прогноз модели и ее потерю до шага обновления градиентов без пересчета? Здесь я сделал пример для MLP и MNIST 

using Flux, Flux.Data.MNIST, Statistics
using Flux: onehotbatch, onecold, crossentropy
using Flux.Optimise: update!
using Flux.Data: DataLoader
using Printf


X = hcat(float.(reshape.(MNIST.images(), :))...) |> gpu
Y = onehotbatch(MNIST.labels(), 0:9) |> gpu
m = Chain(
    Dense(784, 32, relu),
    Dense(32, 32, relu),
    Dense(32, 10),
    softmax
) |> gpu

loss(ŷ, y) = Flux.crossentropy(ŷ, y)
accuracy(x, y) = mean(onecold(cpu(x)) .== onecold(cpu(y)))
dl = DataLoader(X, Y, batchsize=128)
ps = params(m)
opt = Descent(0.1)
@progress for i = 1:10
    @info "Epoch $i"

    for (x, y) in dl
        gs = gradient(ps) do
            loss(m(x), y)
        end
        update!(opt, ps, gs)
    end

    vloss, vacc = [], []
    for (x,y) in dl
        ŷ = m(x)
        l = loss(ŷ, y)

        push!(vloss, l)
        push!(vacc, accuracy(ŷ, y))
    end
    @printf "Train :: loss: %-5f acc: %-5f\n" mean(vloss) mean(vacc)
end

1 Ответ

1 голос
/ 31 марта 2020

Благодаря тому, что AD работает в обратном режиме, вы всегда получаете так называемое «прямое значение» каждый раз, когда вычисляете градиент. Если вы посмотрите, как gradient определяется в Zygote , вы увидите, что вы можете использовать pullback, чтобы получить оба одновременно: 

function value_and_gradient(f, args...)
    y, back = pullback(f, args...)
    return y, back(sensitivity(y))
end

sensitivity просто one, или ошибка для недифференцируемых типов вывода.

...