У меня есть нейронная сеть, которая принимает массивы из 1024 двойников и возвращает единственное значение. Я обучил его, и теперь я хочу использовать его на наборе тестовых данных. Файл, на котором я хочу его протестировать, очень большой (8,2 ГБ), и всякий раз, когда я пытаюсь импортировать его в Google Colab, происходит сбой ОЗУ. Я читаю это с помощью read_csv следующим образом: testsignals = pd.read_csv("/content/drive/My Drive/MyFile.txt", delimiter="\n",header=None). Я хотел бы знать, есть ли более эффективный способ чтения в файле или мне просто придется работать с меньшими наборами данных.
Изменить: следуя комментарию Prune, я посмотрел на совет от людей, которые комментировали, и я попробовал это:
import csv
testsignals=[]
with open('/content/drive/MyDrive/MyFile') as csvfile:
reader=csv.reader(csvfile)
for line in reader:
testsignals.append(line)
Но он все равно превышает ОЗУ.
Если кто-нибудь может мне помочь, я был бы очень благодарен!