Что такое Zero-Inflated Layer и как его реализовать на pytorch? - PullRequest
Новая
       23

Что такое Zero-Inflated Layer и как его реализовать на pytorch?

1 голос
/ 15 мая 2019

Я строю вариационный автоэнкодер для уменьшения размера одноклеточных данных RNA-Seq Мне удалось построить четкие кластеры с помощью традиционного автоэнкодера, но мой VAE не работает. Потеря уменьшается, но останавливается на уровне 5. Когда я визуализирую скрытое пространство, я просто разбрасываю случайные точки без каких-либо выученных паттернов.

Я считаю, что проблема в том, что я не реализовал ZI-слой. Причина в том, что я даже не понимаю цели этого, и математика кажется очень не интуитивной.

VASC - это глубокий вариационный автоэнкодер, способный регистрировать нелинейные отклонения и автоматически изучать иерархическое представление входных данных. Одной из его целей является упрощение визуализации наборов данных scRNA-seq. VASC состоит из трех основных частей: (1) сеть кодера, (2) сеть декодера и (3) уровень с нулевым уровнем накачки. Изобретатели VASC объяснили это, хотя здесь бумага

  1. Чем объясняется ZI-слой?

  2. Как мне реализовать это после моего компонента декодера? 

class VAE(nn.Module):
    def __init__(self):
        super(VAE, self).__init__()

        self.n_components = 6

        self.fc0 = nn.Dropout(p=0.5)
        # For probabilistic encoder
        self.fc1 = nn.Linear(13714, 128)
        self.fc2 = nn.Linear(128, 32)
        self.fc3 = nn.Linear(32, 16)
        self.fc41 = nn.Linear(16, self.n_components) 
        self.fc42 = nn.Linear(16, self.n_components) 

        # For probabilistic decoder
        self.fc5 = nn.Linear(self.n_components, 16)
        self.fc6 = nn.Linear(16, 32)
        self.fc7 = nn.Linear(32, 128)
        self.fc8 = nn.Linear(128, 13714)

    def encode(self, x):
        h0 = self.fc0(x) #dropout
        h1 = self.fc1(h0)
        h2 = F.relu(self.fc2(h1))
        h3 = F.relu(self.fc3(h2))

        return self.fc41(h3), F.softplus(self.fc42(h3))

    def reparameterize(self, mu, logvar):
        std = torch.exp(0.5*logvar)
        eps = torch.randn_like(std)
        return mu + eps*std

    def decode(self, z):
        h5 = F.relu(self.fc5(z))
        h6 = F.relu(self.fc6(h5))
        h7 = F.relu(self.fc7(h6))
        h8 = torch.sigmoid(self.fc8(h7)) #output layer

        return h8

    def forward(self, x):
        mu, logvar = self.encode(x.view(-1, 13714))
        z = self.reparameterize(mu, logvar)
        return self.decode(z), mu, logvar

model = VAE().to(device)
optimizer = optim.RMSprop(model.parameters(), lr=0.001)

def loss_function(recon_x, x, mu, logvar):
    BCE = F.binary_cross_entropy(recon_x, x.view(-1, 13714), reduction="mean")
    KLD = -0.5 * torch.sum(1 + logvar - mu.pow(2) - logvar.exp())

    return BCE + 0.1*KLD, BCE, KLD

log_interval = 32

for epoch in range(80):
    #model.train()
    running_loss = 0

    for batch_idx, (data, _) in enumerate(train_loader):
        data = data.to(device)
        optimizer.zero_grad()
        recon_batch, mu, logvar = model(data.float())
        loss, bce, kld = loss_function(recon_batch, data.float(), mu, logvar)
        loss.backward()
        running_loss += loss.item()
        optimizer.step()
        if batch_idx % log_interval == 0:
            print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}\tBCE: {:.6f}\tKLD: {:.6f}'.format(
                epoch, batch_idx * len(data), len(train_loader.dataset),
                100. * batch_idx / len(train_loader),
                loss.item(), bce.item(), kld.item()))

    print('====> Epoch: {} Loss: {:.4f}'.format(
          epoch, running_loss))

Как я сказал, скрытое пространство ничему не учит. Я считаю, что проблема заключается в отсутствии ZI-слоя. Если нет, пожалуйста, не могли бы вы помочь мне обнаружить проблему, спасибо.

...