генератор матрицы расстояния networkX до pandas DataFrame - PullRequest
Новая
       61

генератор матрицы расстояния networkX до pandas DataFrame

0 голосов
/ 06 апреля 2020

Я скачал график через osmnx, и я хочу получить расстояние между всеми узлами. Я называю nx.all_pairs_dijkstra_path_length(G, weight='length'), который возвращает генератор диктов. Затем я сохраняю его в DataFrame и затем .csv

Как справиться с огромными графиками (Стокгольм, D C, Paris и др. c.)?

Я сделал это, что сравнялось с размером Амстердама: 

G = ox.graph_from_place('Amsterdam, Netherlands', network_type='drive')
skim_generator = nx.all_pairs_dijkstra_path_length(inData.G,weight='length') # this is generator of dicts
skim_dict = dict(inData.skim_generator) 
skim = pd.DataFrame(inData.skim_dict).fillna(_params.dist_threshold).T.astype(int) 
skim.to_csv(_params.paths.skim, chunksize=20000)

И все же теперь он вроде как разрушил мою оперативную память большие сети. Поэтому я пытаюсь настроить его и уместить в память, но все же он кропотливо медленный, как это улучшить? 

    ret = dict()
    first = True
    j=0
    for i in nx.all_pairs_dijkstra_path_length(_inData.G, weight='length'):
        ret[i[0]]=dict(i[1])
        j+=1
        if divmod(j,chunk)[1]==0:  
            print(j,_inData.nodes.shape[0])
            df = pd.DataFrame(ret).reindex(_inData.nodes.index).fillna(999999).astype(int)
            df.T.to_csv(path, mode = 'w' if first else 'a', header = first)
            first = False
            ret = dict()
...