Каков наилучший способ обработки трех наборов данных разного размера для обучающей нейронной сети?

Question

У меня есть три набора данных, каждый из которых имеет разную длину. У меня есть модель с тремя входными конвейерами (похожая на сиамскую, но с тремя входными конвейерами) и, следовательно, я должен отдельно подавать данные. Я не могу объединить их. У первого около 600, у второго 3000, а у последнего 40000 образцов. В каждом цикле тренировок я хочу пройтись по ним и вставить их в свою модель.

Я определил три набора данных и три загрузчика данных в pytorch; однако я не уверен, как их перебирать?

В случае двух я пробовал цикл по меньшему набору данных и работал. Но это не работает в течение трех.

for step, ((images_Di, labels_Di),(images_Dj, labels_Dj)) in enumerate(zip(loader_D2, cycle(loader_D1))):

Я ценю, если кто-нибудь поможет мне, как лучше всего справиться с ними.

Answer 1

Почему вы хотите иметь 3 разных набора данных / загрузчика?Если размеры элементов в каждом наборе данных одинаковы, вы можете просто объединить изображения и метки из всех наборов данных и создать один набор данных Pytorch и загрузчик.Разве это не будет проще?