Как я могу напрямую изменить значения веса в библиотеке Julia Flux? - PullRequest
Новая
       55

Как я могу напрямую изменить значения веса в библиотеке Julia Flux?

2 голосов
/ 22 января 2020

В библиотеке Julia Flux у нас есть возможность взять нейронную сеть, назовем ее сетью m и извлечь веса сети m с помощью следующего кода: 

params(m)

This возвращает тип объекта Zygote.Params в форме: 

Params([Float32[0.20391908 -0.101616435 0.09610984 -0.1013181 -0.13325627 -0.034813307 -0.13811183 0.27022845 ...]...)

Если бы я хотел немного изменить каждый из весов, как бы я мог получить к ним доступ?

Редактировать: Как и просили, вот структура для m: 

Chain(LSTM(8,10),Dense(10,1))

1 Ответ

3 голосов
/ 23 января 2020

Вы можете перебрать объект Params, чтобы получить доступ к каждому набору параметров в виде массива, которым вы можете манипулировать на месте.

Предположим, что вы хотите изменить каждый параметр на 1 something, вы можете сделать что-то как следующее: 

julia> using Flux

julia> m = Dense(10, 5, σ)
Dense(10, 5, σ)

julia> params(m)
Params([Float32[-0.026854342 -0.57200056 … 0.36827534 -0.39761665; -0.47952518 0.594778 … 0.32624483 0.29363066; … ; -0.22681071 -0.0059174187 … -0.59344876 -0.02679312; 
-0.4910349 0.60780525 … 0.114975974 0.036513895], Float32[0.0, 0.0, 0.0, 0.0, 0.0]])                                                                                     

julia> for p in params(m)
           p .*= 1.001
       end

julia> params(m)
Params([Float32[-0.026881196 -0.5725726 … 0.3686436 -0.39801428; -0.4800047 0.5953728 … 0.32657108 0.2939243; … ; -0.22703752 -0.0059233364 … -0.5940422 -0.026819913; -0.
49152592 0.60841304 … 0.11509095 0.03655041], Float32[0.0, 0.0, 0.0, 0.0, 0.0]])
...