Использование многопроцессорной обработки при добавлении данных в фрейм данных Pandas в Python - PullRequest
Новая
       43

Использование многопроцессорной обработки при добавлении данных в фрейм данных Pandas в Python

0 голосов
/ 06 ноября 2019

Я пытаюсь улучшить скорость моего скрепинга с помощью многопроцессорной обработки, но я не знаю, как интегрировать его в свой код.

Я использую Python 3.7 

import requests as r
import pandas as pd

pd.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)

team_ids = [100, 200, 300, 400, 500]

d = {'player_id'         : [],
     'num'               : [],
     'name'              : []
        }

for t_ in team_ids:
    url = 'http://example_url?team_id='+str(t_)
    req  = r.get(url)
    json = req.json()
    team_id = t_

    for rs in json['team_names']['Results']['row']:

        d['player_id'].append(rs['player_id'])
        d['num'].append(rs['jersey_number'])
        d['name'].append(rs['name_last_first'])


tabla = pd.DataFrame(d)
...