У меня большое количество файлов npy (448 файлов), каждый из которых содержит около 12 тыс. Кадров (150x150 RGB-изображений), которые вместе вносят вклад в мою нейронную сеть (X). Однако, поскольку невозможно загрузить все файлы в один массив, а также потому, что необходимо перемешать все выборки, чтобы избежать смещения, как мне создать входные данные и передать их в сеть? Кто-то предложил создать фиктивный массив для представления индексов, перемешать его, создать фрагменты на основе размера массива и индексов, а затем передать фрагменты в нейронную сеть. Однако мне было интересно, есть ли еще один более простой метод. А также я знаком с Tensorflow (+ keras) и PyTorch. Одним словом, я хотел бы сделать этот шаг, но с большим количеством больших файлов npy:
X_train_filenames, X_val_filenames, y_train, y_val = train_test_split(...)