Очистка и хранение постоянно меняющихся данных для будущего анализа - PullRequest
0 голосов
/ 08 июня 2019

У меня есть разработанный для очистки веб-сайта ниже https://www.insidefutures.com/markets/data.php?page=quote&sym=NG&x=19&y=5

Данные обновляются каждые 10 минут, и я хотел бы найти связь между ценами и объемами торговли.Однако мне нужно будет загружать данные каждые 10 минут и сохранять их для последующего анализа.

При обновлении веб-сайта я хотел бы, чтобы мой код запускался, а также загружался в базу данных каждые 10 минут для последующего анализа.Как мне этого добиться?

from urllib.request import urlopen
from bs4 import BeautifulSoup
import pandas as pd
import requests
import numpy as np

res = requests.get('https://shared.websol.barchart.com/quotes/quote.php?')

soup = BeautifulSoup(res.text, 'lxml')
soup.prettify()
Header = soup.findAll('tr', limit=2)[1].findAll('th')

column_headers = [th.getText() for th in soup.findAll('tr', limit=2) 
[1].findAll('th')]


data_rows = soup.findAll('tr')[2:]
i = range(len(data_rows))
 # for cell in data_rows
Contracts =[]
Lasts =[]
Changes =[]
Opens = []
Highs =[]
Lows =[]
Volumes=[]
Previous_Settles=[]

for td in data_rows:

   Contract = td.findAll('td')[0].text
   Contracts.append(Contract)

   Last = td.findAll('td')[1].text
   Lasts.append(Last)

   Change = td.findAll('td')[2].text
   Changes.append(Change)

   Open = td.findAll('td')[3].text
   Opens.append(Open)

   High = td.findAll('td')[4].text
   Highs.append(High)

   Low = td.findAll('td')[5].text
   Lows.append(Low)

   Volume = td.findAll('td')[6].text
   Volumes.append(Volume)

   Previous_Settled = td.findAll('td')[7].text
   Previous_Settles.append(Previous_Settled)

   Date_Time = td.findAll('td')[8].text

df = pd.DataFrame({'Contracts' : Contracts, 'Last': Last, 'Change': 
Changes, 'Open':Opens, 'High': Highs, 'low': Lows,'Previous_Settled': 
Previous_Settles})
print(df)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...