использование urllib.request для получения данных о запасах - PullRequest
Новая
       5

использование urllib.request для получения данных о запасах

2 голосов
/ 18 декабря 2011

Я написал следующий код для получения данных о запасах в S & P 500. Код работает, но он очень медленный из-за количества запросов urlopen.Какие стратегии я могу использовать, чтобы ускорить это? 

from urllib.request import urlopen
import csv


class StockQuote:
    """gets stock data from Yahoo Finance"""

    def __init__(self, quote):
        self.quote = quote

    def lastPrice(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=l1'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))

    def volume(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=v0'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))

    def yearrange(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=w0'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))

    def PEratio(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=r0'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))

    def bookValue(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=b4'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))

    def EBITDA(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=j4'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))

    def PEGRatio(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=r5'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))

    def ticker(self):
        url = 'http://finance.yahoo.com/d/quotes.csv?s={ticker}&f=s0'.format(ticker=self.quote)
        return bytes.decode((urlopen(url).read().strip()))


def openSP500file():
    SP500 = csv.reader(open(r'C:\Users\dev\Desktop\SP500.csv', 'r'), delimiter=',')
    for x in SP500:
        indStk = x[0]
        printdata(indStk)

def printdata(stk):
    stkObj = StockQuote(stk)
    stkdata= {}
    stkdata['Ticker'] = stkObj.ticker()
    stkdata['Price'] = stkObj.lastPrice()
    stkdata['PE Ratio'] = stkObj.PEratio()
    stkdata['Volume'] = stkObj.volume()
    stkdata['Year Range'] = stkObj.yearrange()
    stkdata['Book Value per Share'] = stkObj.bookValue()
    stkdata['EBITDA'] = stkObj.EBITDA()
    stkdata['PEG Ratio'] = stkObj.PEGRatio()
    print(stkdata)  

def main():
    openSP500file()


if __name__ == '__main__':
    main()

Спасибо!

Ответы [ 3 ]

3 голосов
/ 18 декабря 2011

Если все ваши запросы отправляются в один и тот же домен, я бы предложил использовать urllib3 .Его нет в стандартной установке Python, но он реализует пул соединений, поэтому все отдельные запросы выполняются быстрее.

3 голосов
/ 18 декабря 2011

Вы можете запросить информацию о нескольких акциях за один звонок на request.urlopen: 

import urllib.request as request
import urllib.parse as parse
import csv
import codecs
import pprint

def printdata(stks):
    params = parse.urlencode((('s', '+'.join(stks)), ('f', 'sl1rvwb4j4r5')))
    url = 'http://finance.yahoo.com/d/quotes.csv'
    url = '?'.join((url, params))
    req = request.urlopen(url)
    f = codecs.getreader('utf8')(req)
    fields = '''Ticker Price PE_Ratio Volume Year_Range Book_Value_per_Share
              EBITDA PEG_Ratio'''.split()
    for row in csv.reader(f):
        stkdata = dict(zip(fields, row))        
        pprint.pprint(stkdata)

printdata('YHOO GOOG MSFT'.split())

доходность 

{'Book_Value_per_Share': '10.051',
 'EBITDA': '1.406B',
 'PEG_Ratio': '1.47',
 'PE_Ratio': '18.56',
 'Price': '14.96',
 'Ticker': 'YHOO',
 'Volume': '32625192',
 'Year_Range': '11.09 - 18.84'}
{'Book_Value_per_Share': '169.355',
 'EBITDA': '13.446B',
 'PEG_Ratio': '0.89',
 'PE_Ratio': '21.12',
 'Price': '625.96',
 'Ticker': 'GOOG',
 'Volume': '4459782',
 'Year_Range': '473.02 - 642.96'}
{'Book_Value_per_Share': '7.062',
 'EBITDA': '30.146B',
 'PEG_Ratio': '0.98',
 'PE_Ratio': '9.29',
 'Price': '26.00',
 'Ticker': 'MSFT',
 'Volume': '101410080',
 'Year_Range': '23.65 - 29.46'}
2 голосов
/ 18 декабря 2011

Вы можете использовать модуль threading или multiprocessing для извлечения всех этих URL-адресов одновременно, так что вы можете сэкономить много времени, так как все выборки не связаны с другими.

...