В настоящее время я пытаюсь реализовать документ Генеративное моделирование для белковых структур , и мне удалось обучить модель по Уроку DCGAN Pytorch , которая имеет структуру модели, аналогичную бумага. Две реализации отличаются, когда дело доходит до вывода генератора.
В модели учебника генератор просто передает нормальную выходную матрицу дискриминатору. Это прекрасно работает, когда я реализую модель бумаги (пропуская симметрию и зажим), но бумага указывает:
Во время обучения мы обеспечиваем, чтобы G (z) был положительным, зажимая выходные значения выше нуля и симметри c 
, когда я помещаю это в свое обучение l oop Я получаю график потерь, который указывает, что генератор не обучается.
Вот мое обучение l oop:
# Training Loop
# Lists to keep track of progress
img_list = []
G_losses = []
D_losses = []
iters = 0
print("Starting Training Loop...")
# For each epoch
for epoch in range(num_epochs):
# For each batch in the dataloader
for i, data in enumerate(dataloader, 0):
############################
# (1) Update D network: maximize log(D(x)) + log(1 - D(G(z)))
###########################
## Train with all-real batch
netD.zero_grad()
# Format batch
# Unsqueezed dim one to convert [128, 64, 64] to [128, 1, 64, 64] to conform to D architecture
real_cpu = (data.unsqueeze(dim=1).type(torch.FloatTensor)).to(device)
b_size = real_cpu.size(0)
label = torch.full((b_size,), real_label, device=device)
# Forward pass real batch through D
output = netD(real_cpu).view(-1)
# Calculate loss on all-real batch
errD_real = criterion(output, label)
# Calculate gradients for D in backward pass
errD_real.backward()
D_x = output.mean().item()
## Train with all-fake batch
# Generate batch of latent vectors
noise = torch.randn(b_size, nz, 1, 1, device=device)
# Generate fake image batch with G
fake = netG(noise)
label.fill_(fake_label)
# Make Symmetric
sym_fake = (fake.detach().clamp(min=0) + fake.detach().clamp(min=0).permute(0, 1, 3, 2)) / 2
# Classify all fake batch with D
output = netD(sym_fake).view(-1)
# Calculate D's loss on the all-fake batch
errD_fake = criterion(output, label)
# Calculate the gradients for this batch
errD_fake.backward()
D_G_z1 = output.mean().item()
# Add the gradients from the all-real and all-fake batches
errD = errD_real + errD_fake
# Update D
optimizerD.step()
#adjust_optim(optimizerD, iters)
############################
# (2) Update G network: maximize log(D(G(z)))
###########################
netG.zero_grad()
label.fill_(real_label) # fake labels are real for generator cost
# Since we just updated D, perform another forward pass of all-fake batch through D
output = netD(fake.detach()).view(-1)
# Calculate G's loss based on this output
errG = criterion(output, label)
# Calculate gradients for G
errG.backward()
D_G_z2 = output.mean().item()
# Update G
optimizerG.step()
adjust_optim(optimizerG, iters)
# Output training stats
if i % 50 == 0:
print('[%d/%d][%d/%d]\tLoss_D: %.4f\tLoss_G: %.4f\tD(x): %.4f\tD(G(z)): %.4f / %.4f'
% (epoch, num_epochs, i, len(dataloader),
errD.item(), errG.item(), D_x, D_G_z1, D_G_z2))
# Save Losses for plotting later
G_losses.append(errG.item())
D_losses.append(errD.item())
# Check how the generator is doing by saving G's output on fixed_noise
if (iters % 500 == 0) or ((epoch == num_epochs-1) and (i == len(dataloader)-1)):
with torch.no_grad():
fake = netG(fixed_noise).detach().cpu()
img_list.append(vutils.make_grid(fake, padding=2, normalize=True))
iters += 1
Вот потеря тренировки.
Вот мои ожидаемые потери.
Я делаю симметричный вывод c со следующей строкой
sym_fake = (fake.detach().clamp(min=0) + fake.detach().clamp(min=0).permute(0, 1, 3, 2)) / 2
и передаю его дискриминатору в строках, которые вызывают sym_fake
Вопрос
Моя реализация в pytorch неверна или я что-то упускаю? Я не понимаю, почему бумага делает матрицу симметричной c и зажимает, если сеть способна генерировать изображения без необходимости симметрии и зажима.