XML SDMX чтение в python - PullRequest
Новая
       21

XML SDMX чтение в python

1 голос
/ 03 апреля 2020

Мне трудно читать SDMX XML файл с python ссылками снизу: https://www.newyorkfed.org/xml/fedfunds.html или прямой

В идеале я хотел бы получить фонд оценивается в dataframe, но я пытался использовать pandasdmx, который, кажется, не работает с этим

Мой текущий код: f 

rom urllib.request import urlopen
import xml.etree.ElementTree as ET

url = "https://websvcgatewayx2.frbny.org/autorates_fedfunds_external/services/v1_0/fedfunds/xml/retrieve?typ=RATE&f=03012016&t=04032020"

d2 = urlopen(url).read()
root  ET.fromstring(d2)

for elem in root.iter():
    k = elem.get('OBS_VALUE')
    if k is not None:
        print(k)

Я хотел бы получить что-то похожее на это: 

             FUNDRATE_OBS_POINT='1%' FUNDRATE_OBS_POINT='25%'
2020-04-02   0.03                    0.05
2020-04-01   0.03                    0.05
2020-04-01   0.01                    0.05

Я нашел этот метод довольно уродливым, и для каждого «данных» мне нужно проверить, не его ли «Нет». Есть ли лучший способ сделать это?

1 Ответ

1 голос
/ 04 апреля 2020

Попробуйте что-то вроде этого: 

from lxml import etree
import requests

resp = requests.get(url)

doc = etree.fromstring(resp.content)

headers = []
dates = []
columns = []

fop = doc.xpath('//Series[@FUNDRATE_OBS_POINT]')
datpath = fop[0].xpath('//*[@*="ns13:ObsType"]')
for dat in datpath:
    dates.append(dat.attrib.get('TIME_PERIOD'))
for item in fop:
    headers.append(item.attrib.get('FUNDRATE_OBS_POINT'))
    entries = item.xpath('//*[@*="ns13:ObsType"]')
    column = []
    for entry in entries:
        column.append(entry.attrib.get('OBS_VALUE'))
    columns.append(column)


df = pd.DataFrame(columns=headers,index=dates)

for a, b in zip(headers,columns):
    df[a] = b
df.head(3)

Вывод: 

             1%     25%     50%     75%     99%  TARGET_HIGH  TARGET_LOW
2020-04-02  0.03    0.03    0.03    0.03    0.03    0.03    0.03
2020-04-01  0.03    0.03    0.03    0.03    0.03    0.03    0.03
2020-03-31  0.01    0.01    0.01    0.01    0.01    0.01    0.01
...