Как объединить фреймы данных с a for l oop in Python & Pandas - PullRequest
Новая
       34

Как объединить фреймы данных с a for l oop in Python & Pandas

0 голосов
/ 08 мая 2020

У меня есть словарь фреймов данных (248 стран), которые я хочу объединить в один фрейм данных.

фрейм данных называется dfs, поэтому, если я хочу получить доступ к содержимому для Албании, я использую: 

dfs["Albania"]

Я использовал приведенный ниже код, чтобы сделать это с 4 фреймами данных ранее, когда учился объединять фреймы данных.

Могу ли я адаптировать это для работы как al oop с 248 странами, которые я хочу включить сейчас, а также установить ключ для каждого конкатенированного df в качестве названия страны?

У меня есть очень мало продвинулся в этом за последние несколько часов! 

datasets = [df_ireland, df_italy, df_france, df_germany]

frames = []

for frame in datasets:
    frames.append(frame)

df_join = pd.concat(frames, keys=['Ireland', 'Italy', 'France', 'Germany'])

Вот l oop, который я использовал для создания словаря на случай, если это принесет какую-либо пользу: 

# Import the libraries
import requests
import requests_cache

import json

import pandas as pd
import numpy as np
from pandas import Series, DataFrame, json_normalize

from datetime import datetime

# Make an API call and store the response.
sum_url = 'https://api.covid19api.com/summary'
sum_data = requests.get(sum_url)

# Store the API response in a variable.
available_sum_data = sum_data.json()
sum_df = json_normalize(available_sum_data["Countries"])

# Make a list of countries
countries = sum_df['Country'].tolist()

# Make a empty dictionary to hold dataframes
dfs = {}


for country in countries:
    print(country)

    try:
        # check the cache and if old data call api
        requests_cache.install_cache(f'{country} cache', expire_after=21600)
        url = f'https://api.covid19api.com/total/dayone/country/{country}'
        data = requests.get(url)

        # test if cache used
        print(data.from_cache)

    except requests.exceptions.RequestException as e:  # This is the correct syntax
        print(e)
        print('cant print' + country)

    try:
        available_data = data.json()
        dfs[f'{country}'] = pd.json_normalize(available_data)


        # Create Daily new cases column & SMA
        dfs[f'{country}']["New Cases"] = dfs[f'{country}']['Confirmed'].diff()
        dfs[f'{country}']["SMA_10 New Cases"] = dfs[f'{country}']["New Cases"].rolling(window=10).mean()

        # Create Daily new deaths column & SMA
        dfs[f'{country}']["New Deaths"] = dfs[f'{country}']['Deaths'].diff()
        dfs[f'{country}']["SMA_10 New Deaths"] = dfs[f'{country}']["New Deaths"].rolling(window=10).mean()


    except:
        print('cant format to json: ' + country)

1 Ответ

1 голос
/ 08 мая 2020

Я думаю, у вас уже есть отличный словарь dfs, так что вам не нужно делать l oop. Не могли бы вы попробовать это? 

df_joined = pd.concat(dfs.values(), keys=dfs.keys())
...