python память - # FIXME: выяснить лучший dtype MemoryError - PullRequest
Новая
       55

python память - # FIXME: выяснить лучший dtype MemoryError

0 голосов
/ 06 мая 2020

Я пытаюсь запустить сценарий Python для вычисления матрицы расстояний, и я продолжаю получать эту ошибку памяти: 

import pandas as pd
import scipy.spatial as spsp


df_1 =pd.read_csv('test.csv', sep=',')
coords = df_1[['X', 'Y', 'Z']].to_numpy()
distances = spsp.distance_matrix(coords, coords)


Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/opt/apps/apps/binapps/anaconda3/2019.07/lib/python3.7/site-packages/scipy/spatial/kdtree.py", line 980, in distance_matrix
    result = np.empty((m,n),dtype=float)  # FIXME: figure out the best dtype
MemoryError

Я думаю, проблема в том, что мой файл csv огромен (180939 строк, 3 столбцы координат), поэтому матрица расстояний будет огромной. Но я действительно не знаю, как решить эту проблему.

Мы будем благодарны за любое предложение.
Спасибо.

...