Pytorch Итерация по загрузчику данных дважды - PullRequest
Новая
       6

Pytorch Итерация по загрузчику данных дважды

0 голосов
/ 21 апреля 2020

Допустим, у меня есть загрузчик данных (загрузчик), который возвращает данные следующей формы: [BatchSize, 1024] У меня есть 10000 выборок, и я хочу построить матрицу оценок формы (10000, 10000), такую, что запись [i , j] обозначает счет между образцом i и образцом j, пока я делал это следующим образом (настройка batchsize = 1) 

   d = numpy.zeros((10000 , 10000))
   for i, sample_i  in tqdm(enumerate(loader)):
     for i, sample_j  in tqdm(enumerate(loader)):
       d[i][j] = calculate_somre_score(sample_i , sample_j)

Но это занимает много времени, и я уверен, что есть хороший способ сделать это, если c занимает меньше времени. С наилучшими пожеланиями

...