Как подготовить Нейронный ODE для прогнозирования временного ряда Lotka Voltera в Юлии? - PullRequest
Новая
       77

Как подготовить Нейронный ODE для прогнозирования временного ряда Lotka Voltera в Юлии?

1 голос
/ 19 февраля 2020

Я хочу отделить ODE, из которой генерируются данные временного ряда, и нейронную сеть, встроенную в ODE, которая пытается изучить структуру этих данных. Другими словами, я хочу повторить пример экстраполяции временных рядов, предоставленный в https://julialang.org/blog/2019/01/fluxdiffeq/, но с другой базовой функцией, т.е. я использую Lotka-Voltera для генерации данных.

Мой рабочий процесс в Юлии следующий (обратите внимание, что я довольно новичок в Юлии, но я надеюсь, что это понятно.): 

train_size = 32
tspan_train = (0.0f0,4.00f0)

u0 = [1.0,1.0]
p = [1.5,1.0,3.0,1.0]

function lotka_volterra(du,u,p,t)
  x, y = u
  α, β, δ, γ = p
  du[1] = dx = α*x - β*x*y
  du[2] = dy = -δ*y + γ*x*y
end

t_train = range(tspan_train[1],tspan_train[2],length = train_size)

prob = ODEProblem(lotka_volterra, u0, tspan_train,p)
ode_data_train = Array(solve(prob, Tsit5(),saveat=t_train))

function create_neural_ode(solver, tspan, t_saveat)
    dudt = Chain(
            Dense(2,50,tanh),
            Dense(50,2))
    ps = Flux.params(dudt)   
    n_ode = NeuralODE(dudt, tspan, solver, saveat = t_saveat, reltol=1e-7, abstol=1e-9)           
    n_ode
end

function predict_n_ode(ps)
    n_ode(u0,ps)
end
function loss_n_ode(ps)
    pred = predict_n_ode(ps)
    loss = sum(abs2, ode_data_train .- pred)
    loss,pred
end

n_ode = create_neural_ode(Tsit5(), tspan_train, t_train)

final_p = Any[]
losses = []
cb = function(p,loss,pred)
            display(loss)
            display(p)
            push!(final_p, copy(p))
            push!(losses,loss)
            pl = scatter(t_train, ode_data_train[1,:],label="data")
            scatter!(pl,t_train,pred[1,:],label="prediction")
            display(plot(pl))
        end

sol = DiffEqFlux.sciml_train!(loss_n_ode, n_ode.p, ADAM(0.05), cb = cb, maxiters = 100)

# Plot and save training results 
x = 1:100
plot_to_save = plot(x,losses,title=solver_name,label="loss")
plot(x,losses,title=solver_name, label="loss")
xlabel!("Epochs")

Однако я могу заметить, что мой NN мало изучает, он застаивается и потери остаются на отметке 155 с Euler и Tsit5 и ведут себя немного лучше с RK4 (потеря 142).

Я был бы очень благодарен, если бы кто-то указал, что я делаю ошибку в моей реализации или если это поведение ожидается.

1 Ответ

0 голосов
/ 20 февраля 2020

Увеличение числа от maxiters = до 300 помогло достичь лучших результатов, но тренировка крайне нестабильна.

...