Итак, я привык использовать PyTorch и теперь решил дать Skorch шанс.
Здесь они определяют сеть как
class ClassifierModule(nn.Module):
def __init__(
self,
num_units=10,
nonlin=F.relu,
dropout=0.5,
):
super(ClassifierModule, self).__init__()
self.num_units = num_units
self.nonlin = nonlin
self.dropout = dropout
self.dense0 = nn.Linear(20, num_units)
self.nonlin = nonlin
self.dropout = nn.Dropout(dropout)
self.dense1 = nn.Linear(num_units, 10)
self.output = nn.Linear(10, 2)
def forward(self, X, **kwargs):
X = self.nonlin(self.dense0(X))
X = self.dropout(X)
X = F.relu(self.dense1(X))
X = F.softmax(self.output(X), dim=-1)
return X
Я предпочитаю вводить списки нейронов в каждом слое, т.е. num_units=[30,15,5,2] будет иметь 2 скрытых слоя с 15 и 5 нейронами. Кроме того, у нас есть 30 функций и 2 класса, таким образом, переписав это что-то вроде этого
class Net(nn.Module):
def __init__(
self,
num_units=[30,15,5,2],
nonlin=[F.relu,F.relu,F.relu],
dropout=[0.5,0.5,0.5],
):
super(Net, self).__init__()
self.layer_units = layer_units
self.nonlin = nonlin #Activation function
self.dropout = dropout #Drop-out rates in each layer
self.layers = [nn.Linear(i,p) for i,p in zip(layer_units,layer_units[1:])] #Dense layers
def forward(self, X, **kwargs):
print("Forwards")
for layer,func,drop in zip(self.layers[:-1],self.nonlin,self.dropout):
print(layer,func,drop)
X=drop(func(layer(X)))
X = F.softmax(X, dim=-1)
return X
, добьется цели. Проблема в том, что при вызове
net = NeuralNetClassifier(Net,max_epochs=20,lr=0.1,device="cuda")
net.fit(X,y)
я получаю ошибку «ValueError: оптимизатор получил пустой список параметров». Я сузил его до удаления self.output = nn.Linear(10, 2) просто заставляет net не вводить forward, то есть кажется, что output является некой «триггерной» переменной. Действительно ли в этом случае в сети нужна переменная с именем output (являющаяся слоем) в конце, и мы не можем сами определять имена переменных?