Цвет пикселей немного изменился после PyTorch, OpenCV и NumPy - PullRequest
1 голос
/ 26 мая 2020

Я пытался запустить предварительно обученную модель, которая использует PyTorch, NumPy и OpenCV для масштабирования пиксельных изображений. Проблема в том, что после сохранения изображения оно выглядит так же, но когда я вставляю их в программу для создания спрайтов, он обнаруживает некоторые цветовые различия на фоне.

Я пробовал изменить цвет фона на что-то вроде пурпурного , поскольку я работаю с BMP и ни одно изображение не будет иметь этот цвет, но после запуска в нейронной сети я получаю некоторые различия в значениях пикселей. Пурпурный по-прежнему выглядит как пурпурный, но значения пикселей не совпадают.

Я также пытался вычислить, близок ли новый цвет к пурпурному, поэтому я мог заменить его исходным фоном, но тоже не повезло , Честно говоря, я подошел довольно близко, но пиксели рядом с объектом все еще были старого цвета.

Я что-то делаю не так или у вас есть предложения?

Вот code

import sys
import os.path
import glob
import cv2
import numpy as np
import torch
import architecture as arch

model_path = 'models/model.pth'  # models/RRDB_ESRGAN_x4.pth OR models/RRDB_PSNR_x4.pth
device = torch.device('cuda')  # if you want to run on CPU, change 'cuda' -> cpu
# device = torch.device('cpu')

test_img_folder = 'LR/*'

model = arch.RRDB_Net(3, 3, 64, 23, gc=32, upscale=4, norm_type=None, act_type='leakyrelu', \
                        mode='CNA', res_scale=1, upsample_mode='upconv')
model.load_state_dict(torch.load(model_path), strict=True)
model.eval()
for k, v in model.named_parameters():
    v.requires_grad = False
model = model.to(device)

print('Model path {:s}. \nTesting...'.format(model_path))

idx = 0
for path in glob.glob(test_img_folder):
    idx += 1
    base = os.path.splitext(os.path.basename(path))[0]
    print(idx, base)

    original_background = [209, 237, 212]
    magenta = [255,0,255]

    # read image
    img = cv2.imread(path, cv2.COLOR_RGB2BGR)
    img[np.where((img == original_background).all(axis=2))] = magenta
    img = img * 1.0 / 255
    img = torch.from_numpy(np.transpose(img[:, :, [2, 1, 0]], (2, 0, 1))).float()
    img_LR = img.unsqueeze(0)
    img_LR = img_LR.to(device)

    output = model(img_LR).data.squeeze().float().cpu().clamp_(0, 1).numpy()
    output = np.transpose(output[[2, 1, 0], :, :], (1, 2, 0))
    output = (output * 255).round()

    cv2.imwrite('results/{:s}.png'.format(base), output)

А вот изображения, предварительная обработка и публикация

PRE post

Предварительная обработка изображения:

[[[255   0 255]
  [255   0 255]
  [255   0 255]
  ...
  [255   0 255]
  [255   0 255]
  [255   0 255]]

И постобработка:

[[[176.  73. 220.]
  [228.  62. 252.]
  [255.  45. 244.]
  ...
  [255.  34. 255.]
  [255.  58. 252.]
  [219. 100. 204.]]
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...