красивый суп - превращение атрибутов в датафреймы - BEA API

Question

Я пытаюсь использовать API BEA для запроса данных о доходах. Инструкции API - https://apps.bea.gov/api/_pdf/bea_web_service_api_user_guide.pdf

Моя цель - проанализировать сгенерированный XML и превратить его в массив данных со столбцами для разных лет.

Проблема, с которой я сталкиваюсь, заключается в том, что при анализе данных я использую «растопленный» формат, в котором мне нужны отдельные столбцы для лет и данные о доходах за эти годы в каждом из этих столбцов.

Как мне это сделать? Ниже приведен код, который я использую. Для этого необходимо зарегистрировать ключ API по электронной почте и ввести его после «ИД пользователя» в приведенном ниже URL-адресе.

bea_income = 'https://apps.bea.gov/api/data/?UserID=ENTERYOURAPIKEY&method=GetData&'\
'datasetname=RegionalIncome&TableName=RPI2&LineCode=2&Year=2014,2015,2016&GeoFips=MSA&ResultFormat=xml'

bea_inc_request = requests.get(bea_income, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
                                                'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8'})
bea_inc_html = bea_inc_request.content
bea_inc_soup = BeautifulSoup(bea_inc_html, 'xml')

MSA = []
TimePeriod = []
Income = []
GeoFips = []

for i in range(len(bea_inc_soup.Results.find_all('Data'))):
    MSA.append(bea_inc_soup.Results.find_all('Data')[i]['GeoName'])
    GeoFips.append(bea_inc_soup.Results.find_all('Data')[i]['GeoFips'])
    Income.append(bea_inc_soup.Results.find_all('Data')[i]['DataValue'])
    TimePeriod.append(bea_inc_soup.Results.find_all('Data')[i]['TimePeriod'])


income_data = pd.DataFrame({'MSA':MSA, 'FIPS':GeoFips,  'Year':TimePeriod, 'Income':Income})

                                           MSA  FIPS    Year    Income
0   Abilene, TX (Metropolitan Statistical Area) 10180   2014    41818
1   Abilene, TX (Metropolitan Statistical Area) 10180   2015    41651
2   Abilene, TX (Metropolitan Statistical Area) 10180   2016    40409
3   Akron, OH (Metropolitan Statistical Area)   10420   2016    45448
4   Akron, OH (Metropolitan Statistical Area)   10420   2015    45298

Answer 1

Чтобы вывести данные из «расплавленного» формата, я поворачивался на основе столбцов Year и Income.

income_pivot = income_data[['Year','Income']].pivot(columns='Year')['Income']

Year    2014    2015    2016
0   41,818       NaN    NaN
1   NaN       41,651    NaN
2   NaN          NaN    40,409
3   44,097       NaN    NaN
4   NaN       45,298    NaN
5   NaN          NaN    45,448

Затем я вручную отбросил NaN, созданные в сводной таблице, чтобы получить доход каждого MSA по годам в соответствующих столбцах.

income_pivot_2014 = income_pivot.iloc[:,0].dropna().values
income_pivot_2015 = income_pivot.iloc[:,1].dropna().values
income_pivot_2016 = income_pivot.iloc[:,2].dropna().values

Добавлено на имя MSA

income_pivot_msa = income_data['MSA'].unique()

И объединил все в фрейм данных.

income_data_form = pd.DataFrame({'MSA':income_pivot_msa,
                                 '2014_inc':income_pivot_2014,
                                 '2015_inc':income_pivot_2015,
                                 '2016_inc':income_pivot_2016,
                                 'FIPS':income_data['FIPS'].unique()})