Ошибка в преобразовании пользовательского набора данных в Pytorch - PullRequest
Новая
       22

Ошибка в преобразовании пользовательского набора данных в Pytorch

0 голосов
/ 10 апреля 2020

Я следовал этому руководству: https://pytorch.org/tutorials/beginner/data_loading_tutorial.html за создание собственного пользовательского загрузчика данных для набора данных MuNuSeg, но я застрял на одном месте. Загрузчик данных работает нормально, но когда я добавляю к нему преобразования, я получаю ошибки.

Я сталкиваюсь с проблемой, аналогичной описанной здесь: Ошибка при использовании преобразований Pytorch и пользовательского набора данных Согласно полученному ответу, я сделал пользовательское преобразование для каждого встроенного преобразования, чтобы преобразовать одну целую выборку одновременно. Ниже приведены мои пользовательские преобразования 

class AffineTrans(object):
def __init__(self, degrees, translate):
    self.degrees = degrees
    self.translate = translate

def __call__(self, sample):
    image, contour, clrmask = sample['image'], sample['contour'], sample['clrmask']
    TF = transforms.RandomAffine(degrees = self.degrees, translate=self.translate)
    image = TF(image)
    contour = TF(contour)
    clrmask = (clrmask)

class Flip(object):   
def __call__(self, sample):
    image, contour, clrmask = sample['image'], sample['contour'], sample['clrmask']
    TF1 = transforms.RandomHorizontalFlip()
    TF2 = transforms.RandomVerticalFlip()
    image = TF1(image)
    contour = TF1(contour)
    clrmask = TF1(clrmask)
    image = TF2(image)
    contour = TF2(contour)
    clrmask = TF2(clrmask)

class ClrJitter(object):
def __init__(self, brightness, contrast, saturation, hue):
    self.brightness = brightness
    self.contrast = contrast
    self.saturation = saturation
    self.hue = hue

def __call__(self, sample):
    image, contour, clrmask = sample['image'], sample['contour'], sample['clrmask']
    TF = transforms.ColorJitter(self.brightness, self.contrast, self.saturation, self.hue)
    image = TF(image)
    contour = TF(contour)
    clrmask = TF(clrmask)

И они составлены следующим образом 

composed = transforms.Compose([RandomCrop(256),
                           AffineTrans(15.0,(0.1,0.1)),
                           Flip(),    
                           ClrJitter(10, 10, 10, 0.01),
                           ToTensor()])

А вот код trainLoader 

class trainLoader(Dataset):
def __init__(self, transform=None):
    """
    Args:
        transform (callable, optional): Optional transform to be applied
            on a sample.
    """
    [self.train_data , self.test_data1, self.test_data2] = dirload()
    self.transform = transform

def __len__(self):
    return(len(self.train_data[0]))

def __getitem__(self, idx):
    if torch.is_tensor(idx):
        idx = idx.tolist()
    img_name = self.train_data[0][idx]
    contour_name = self.train_data[1][idx]
    color_name = self.train_data[2][idx]
    image = cv2.imread(img_name)
    contour = cv2.imread(contour_name)
    clrmask = cv2.imread(color_name)
    sample = {'image': image, 'contour': contour, 'clrmask': clrmask}

    if self.transform:
        sample = self.transform(sample)

    return sample

Чтобы проверить работу Код выше я делаю следующее 

    train_dat = trainLoader(composed)

for i in range(len(train_dat)):
    sample = train_dat[i]

    print(i, sample['image'].shape, sample['contour'].shape, sample['clrmask'].shape)
    cv2.imshow('sample',sample['image'])
    cv2.waitKey()
    if i == 3:
        break

Но я все еще, снова и снова, сталкиваюсь со следующей ошибкой 

runcell(0, 'F:/Moodle/SEM 8/SRE/code/MoNuSeg/main.py')

runcell(1, 'F:/Moodle/SEM 8/SRE/code/MoNuSeg/main.py')
Traceback (most recent call last):

  File "F:\Moodle\SEM 8\SRE\code\MoNuSeg\main.py", line 212, in <module>
    sample = train_dat[i]

  File "F:\Moodle\SEM 8\SRE\code\MoNuSeg\main.py", line 109, in __getitem__
    sample = self.transform(sample)

  File "F:\Moodle\Anaconda3\lib\site-packages\torchvision\transforms\transforms.py", line 60, in __call__
    img = t(img)

  File "F:\Moodle\SEM 8\SRE\code\MoNuSeg\main.py", line 156, in __call__
    image = TF(image)

  File "F:\Moodle\Anaconda3\lib\site-packages\torchvision\transforms\transforms.py", line 1018, in __call__
    ret = self.get_params(self.degrees, self.translate, self.scale, self.shear, img.size)

  File "F:\Moodle\Anaconda3\lib\site-packages\torchvision\transforms\transforms.py", line 992, in get_params
    max_dx = translate[0] * img_size[0]

TypeError: 'int' object is not subscriptable

Это довольно неоднозначная ошибка, поскольку я точно не получить то, что ошибка

любая помощь будет очень признателен

1 Ответ

0 голосов
/ 10 апреля 2020

Проблема в том, что вы передаете массив NumPy, тогда как преобразование ожидает изображение PIL. Вы можете исправить это, добавив transforms.ToPILImage() в качестве первого преобразования: 

composed = transforms.Compose([
    transforms.ToPILImage(),
    RandomCrop(256),
    AffineTrans(15.0,(0.1,0.1)),
    Flip(),    
    ClrJitter(10, 10, 10, 0.01),
    ToTensor()
])

Предполагая, что у вас есть from torchvision import transforms в начале.

Проблема root в том, что вы Вы используете OpenCV для загрузки изображений: 

def __getitem__(self, idx):
    # [...]
    image = cv2.imread(img_name)

, и вы можете заменить эти вызовы загрузки с OpenCV на PIL, чтобы решить эту проблему.

Просто чтобы вы знали, для массива NumPy .size() возвращает int, что вызывает у вас проблему. Проверьте в следующем коде разницу: 

import numpy as np
from PIL import Image

# NumPy
img = np.zeros((30, 30))
print(img.size)  # output: 900

# PIL
pil_img = Image.fromarray(img)
print(pil_img.size)  # output: (30, 30)
...