Мой код по какой-то причине медленный и узкое место, из-за которого мой GPU использует только около 2% своей мощности, когда я занимаюсь усиленным обучением. Поэтому я рассчитал время для разных частей и заметил, что когда мне нужно получить "new_state" (новый образец) из моих данных, хранящихся в массиве Numpy, это занимает очень много времени:
new_state = self.xdata[timestep]
У меня есть загрузил данные из файла CSV размером 20 МБ, используя Numpy genfromtxt. Он имеет форму (54626, 170) Видимо, я что-то не так делаю?
Эти данные не такие большие, но время от времени мне нужно использовать большие наборы данных (4 ГБ). У меня 64 ГБ ОЗУ и графический процессор 2080ti.
Какой самый эффективный способ сделать это?