Почему pytorch DataLoader ведет себя по-разному в массиве и списке numpy?

Question

Разница only - это один из параметров, передаваемых в DataLoader, типа «numpy.array», а другой - типа «list», но DataLoader дает совершенно разные результаты.

Вы можете использовать следующий код для его воспроизведения:

from torch.utils.data import DataLoader,Dataset
import numpy as np

class my_dataset(Dataset):
    def __init__(self,data,label):
        self.data=data
        self.label=label          
    def __getitem__(self, index):
        return self.data[index],self.label[index]
    def __len__(self):
        return len(self.data)

train_data=[[1,2,3],[5,6,7],[11,12,13],[15,16,17]]
train_label=[-1,-2,-11,-12]

########################### Look at here:    

test=DataLoader(dataset=my_dataset(np.array(train_data),train_label),batch_size=2)
for i in test:
    print ("numpy data:")
    print (i)
    break


test=DataLoader(dataset=my_dataset(train_data,train_label),batch_size=2)
for i in test:
    print ("list data:")
    print (i)
    break

Результат:

numpy data:
[tensor([[1, 2, 3],
        [5, 6, 7]]), tensor([-1, -2])]
list data:
[[tensor([1, 5]), tensor([2, 6]), tensor([3, 7])], tensor([-1, -2])]  

Answer 1

Это потому, что обработка партии выполняется в torch.utils.data.DataLoader.collate_fn Аргумент решает, как образцы из образцов объединяются в один пакет.По умолчанию этот аргумент недокументированбыть (рекурсивно) сохраненным.Это позволяет вам иметь семантическое пакетирование, подобное следующему:

1. (input_tensor, label_tensor) -> (batched_input_tensor, batched_label_tensor)
2. ([input_tensor_1, input_tensor_2], label_tensor) -> ([batched_input_tensor_1, batched_input_tensor_2], batched_label_tensor)
3. {'input': input_tensor, 'target': target_tensor} -> {'input': batched_input_tensor, 'target': batched_target_tensor}

(Левая сторона -> является выводом набора данных [i], в то время как правая сторона представляет собой пакетный образец из torch.utils.data.DataLoader)

Ваш пример кода аналогичен примеру 2 выше: структура списка сохраняется при intс порциями.