import bs4 as bs
import datetime as dt
import os
import pandas as pd
from pandas_datareader import data as pdr
import pickle
import requests
import yfinance as yf
yf.pdr_override
def save_sp500_tickers():
resp = requests.get('http://en.wikipedia.org/wiki/List_of_S%26P_500_companies')
soup = bs.BeautifulSoup(resp.text, 'lxml')
table = soup.find('table', {'class': 'wikitable sortable'})
tickers = []
for row in table.findAll('tr')[1:]:
ticker = row.findAll('td')[0].text.replace('.', '-')
ticker = ticker[:-1]
tickers.append(ticker)
with open("sp500tickers.pickle", "wb") as f:
pickle.dump(tickers, f)
return tickers
# save_sp500_tickers()
def get_data_from_yahoo(reload_sp500=False):
if reload_sp500:
tickers = save_sp500_tickers()
else:
with open("sp500tickers.pickle", "rb") as f:
tickers = pickle.load(f)
if not os.path.exists('stock_dfs'):
os.makedirs('stock_dfs')
start = dt.datetime(2000,1,1)
end = dt.datetime.now()
for ticker in tickers:
print(ticker)
if not os.path.exists('stock_dfs/{}.csv'.format(ticker)):
df = pdr.get_data_yahoo(ticker, start, end)
df.reset_index(inplace=True)
df.set_index("Date", inplace=True)
df.to_csv('stock_dfs/{}.csv'.format(ticker))
else:
print('Already have {}'.format(ticker))
save_sp500_tickers()
get_data_from_yahoo()
# get_data_from_google()
def compile_data():
with open("sp500tickers.pickle", "rb") as f:
tickers = pickle.load(f)
main_df = pd.DataFrame()
for count, ticker in enumerate(tickers):
try:
df = pd.read_csv('stock_dfs/{}.csv'.format(ticker))
df.set_index('Date', inplace=True)
df.rename(columns = {'Close':ticker}, inplace=True)
df.drop(['Open', 'High', 'Low', 'Volume'], 1, inplace=True)
if main_df.empty:
main_df = df
else:
main_df = main_df.join(df, how='outer')
except:
print('stock_dfs/{}.csv'.format(ticker) + ' not found')
if count % 10 == 0:
print(count)
print(main_df.head())
main_df.to_csv('sp500_joined_closes.csv')
compile_data()
Программа не может найти файлы .csv, даже если путь указан правильно. Я пытаюсь скомпилировать данные о ценах в другой файл .csv. Код выполняется, но не может найти файлы тикеров, даже если они там есть. Извините, если я не могу объяснить это хорошо, я все еще учусь. :)
Это работает, например, следующим образом:
MMM
Already have MMM
ABT
Already have ABT
ABBV
Already have ABBV
ABMD
Already have ABMD
ACN
Already have ACN
ATVI
Already have ATVI
ADBE
И затем получается следующее:
stock_dfs/ABT.csv not found
stock_dfs/ABBV.csv not found
stock_dfs/ABMD.csv not found
stock_dfs/ACN.csv not found
stock_dfs/ATVI.csv not found
stock_dfs/ADBE.csv not found
stock_dfs/AMD.csv not found
stock_dfs/AAP.csv not found
stock_dfs/AES.csv not found
stock_dfs/AFL.csv not found
Это правильный путь, hhe .csv файлы в папке с именем stock_dfs
и python не может ее найти.