KeyError: 'HistoricalPriceStore' - PullRequest
       12

KeyError: 'HistoricalPriceStore'

1 голос
/ 05 ноября 2019

Когда я изучаю, как получить данные из Википедии S & P 500, получил какую-то ошибку, моя цель - получить данные из Википедии и провести анализ с помощью Python, все они следуют обучающему видео, я очень начинающий пользователь Pythonили код,
вот мой код

import bs4 as bs
import datetime as dt
import os
import pandas as pd
import pandas_datareader.data as web
import pickle
import requests


def save_sp500_tickers():
    resp = requests.get(
        'https://en.wikipedia.org/wiki/List_of_S%26P_500_companies')
    soup = bs.BeautifulSoup(resp.text, "lxml")
    table = soup.find('table', {'class': 'wikitable sortable'})
    tickers = []
    for row in table.findAll('tr')[1:]:
        ticker = row.findAll('td')[0].text
        tickers.append(ticker)

    with open("sp500tickers.pickle", "wb") as f:
        pickle.dump(tickers, f)
        print(tickers)
    return tickers
   #return tickers


# save_sp500_tickers()


def get_data_from_yahoo(reload_sp500=False):
    if reload_sp500:
        tickers = save_sp500_tickers()
    else:
        with open("sp500tickers.pickle", "rb") as f:
            tickers = pickle.load(f)

    if not os.path.exists('stock_dfs'):
        os.makedirs('stock_dfs')

    start = dt.datetime(2000,1,1)
    end = dt.datetime(2016,12,31)

    for ticker in tickers:
        if not os.path.exists('stock_dfs/{}.csv'.format(ticker)):
            df = web.DataReader(ticker, 'yahoo', start, end)
            df.to_csv('stock_dfs/{}.csv'.format(ticker))
        else:
            print('Already have {}'.format(ticker))


get_data_from_yahoo()

Я исправил все ошибки форматирования и отступа, но терминал сказал

traceback (most recent call last):
  File "C:\Users\CNTHWAN8\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas_datareader\yahoo\daily.py", line 157, in _read_one_data
    data = j["context"]["dispatcher"]["stores"]["HistoricalPriceStore"]
KeyError: 'HistoricalPriceStore'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "c:/Users/CNTHWAN8/Desktop/personal/Python/salesorder/Python/sp500 companites.py", line 52, in <module>
    get_data_from_yahoo()
  File "c:/Users/CNTHWAN8/Desktop/personal/Python/salesorder/Python/sp500 companites.py", line 46, in get_data_from_yahoo
    df = web.DataReader(ticker, 'yahoo', start, end)
  File "C:\Users\CNTHWAN8\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas\util\_decorators.py", line 208, in wrapper
    return func(*args, **kwargs)
  File "C:\Users\CNTHWAN8\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas_datareader\data.py", line 387, in DataReader
    session=session,
  File "C:\Users\CNTHWAN8\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas_datareader\base.py", line 251, in read
    df = self._read_one_data(self.url, params=self._get_params(self.symbols))
  File "C:\Users\CNTHWAN8\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas_datareader\yahoo\daily.py", line 160, in _read_one_data
    raise RemoteDataError(msg.format(symbol, self.__class__.__name__))
pandas_datareader._utils.RemoteDataError: No data fetched for symbol MMM
 using YahooDailyReader

C:\Users\CNTHWAN8\Desktop\personal\Python\salesorder\Python>C:/Users/CNTHWAN8/AppData/Local/Programs/Python/Python37/python.exe "c:/Users/CNTHWAN8/Desktop/personal/Python/salesorder/Python/sp500 companites.py"
Traceback (most recent call last):
  File "C:\Users\CNTHWAN8\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas_datareader\yahoo\daily.py", line 157, in _read_one_data
    data = j["context"]["dispatcher"]["stores"]["HistoricalPriceStore"]
KeyError: 'HistoricalPriceStore'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "c:/Users/CNTHWAN8/Desktop/personal/Python/salesorder/Python/sp500 companites.py", line 51, in <module>
    get_data_from_yahoo()
  File "c:/Users/CNTHWAN8/Desktop/personal/Python/salesorder/Python/sp500 companites.py", line 45, in get_data_from_yahoo
    df = web.DataReader(ticker, 'yahoo', start, end)
  File "C:\Users\CNTHWAN8\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas\util\_decorators.py", line 208, in wrapper
    return func(*args, **kwargs)
  File "C:\Users\CNTHWAN8\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas_datareader\data.py", line 387, in DataReader
    session=session,
  File "C:\Users\CNTHWAN8\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas_datareader\base.py", line 251, in read
    df = self._read_one_data(self.url, params=self._get_params(self.symbols))
  File "C:\Users\CNTHWAN8\AppData\Local\Programs\Python\Python37\lib\site-packages\pandas_datareader\yahoo\daily.py", line 160, in _read_one_data
    raise RemoteDataError(msg.format(symbol, self.__class__.__name__))
pandas_datareader._utils.RemoteDataError: No data fetched for symbol MMM
 using YahooDailyReader

, поэтому я немного запуталсячто случилось и как это исправить, любой может помочь мне здесь, большое спасибо

1 Ответ

0 голосов
/ 05 ноября 2019

Проблема \n в ticker - вы должны раздеть его, чтобы получить т.е. MMM вместо MMM\n

ticker = row.findAll('td')[0].text.strip()

После этого он начинает создавать CSV-файлы.


Есть другая проблема.

Для BKR (и некоторых других) отображается ошибка KeyError: 'Date'. Возможно, это проблема чтения данных с сервера. Чтобы пропустить эту проблему, нужно try/except.

try:
    df = web.DataReader(ticker, 'yahoo', start, end)
    df.to_csv('stock_dfs/{}.csv'.format(ticker))
except Exception as ex:
    print('Error:', ex)

import bs4 as bs
import datetime as dt
import os
import pandas as pd
import pandas_datareader.data as web
import pickle
import requests


def save_sp500_tickers():
    resp = requests.get('https://en.wikipedia.org/wiki/List_of_S%26P_500_companies')

    soup = bs.BeautifulSoup(resp.text, "lxml")
    table = soup.find('table', {'class': 'wikitable sortable'})

    tickers = []

    for row in table.findAll('tr')[1:]:
        ticker = row.findAll('td')[0].text.strip()
        tickers.append(ticker)

    with open("sp500tickers.pickle", "wb") as f:
        pickle.dump(tickers, f)
        print(tickers)

    return tickers


def get_data_from_yahoo(reload_sp500=False):
    if reload_sp500:
        tickers = save_sp500_tickers()
    else:
        with open("sp500tickers.pickle", "rb") as f:
            tickers = pickle.load(f)

    if not os.path.exists('stock_dfs'):
        os.makedirs('stock_dfs')

    start = dt.datetime(2000, 1, 1)
    end = dt.datetime(2016, 12, 31)

    for ticker in tickers:

        print(ticker)

        if not os.path.exists('stock_dfs/{}.csv'.format(ticker)):
            try:
                df = web.DataReader(ticker, 'yahoo', start, end)
                df.to_csv('stock_dfs/{}.csv'.format(ticker))
            except Exception as ex:
                print('Error:', ex)
        else:
            print('Already have {}'.format(ticker))


get_data_from_yahoo(True)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...