Как использовать python запросов для очистки отфильтрованных результатов в Интернете? - PullRequest
Новая
       6

Как использовать python запросов для очистки отфильтрованных результатов в Интернете?

0 голосов
/ 18 июня 2020

Я пытаюсь очистить отфильтрованные результаты с этого веб-сайта https://www.gurufocus.com/insider/summary. Теперь я могу получать информацию только с первой страницы. Но что я действительно хочу сделать, так это отфильтровать несколько отраслей и получить релевантные данные (вы можете увидеть «отрасль» в области фильтра). Но когда я выбираю отрасль, URL-адрес веб-сайта не меняется, и я не могу очищать его напрямую. Я видел, как некоторые люди говорили, что вы можете использовать requests.post для получения данных, но я действительно не знаю, как это работает.

Вот некоторые из моих кодов прямо сейчас. 

TradeUrl = "https://www.gurufocus.com/insider/summary"
r = requests.get(TradeUrl)
data=r.content
soup=BeautifulSoup(data, 'html.parser')

ticker = []
for tk in soup.find_all('td',{'class': 'table-stock-info', 'data-column': 'Ticker'}):
    ticker.append(tk.text)

Что делать, если мне нужны тикеры только из индустрии финансовых услуг?

1 Ответ

0 голосов
/ 19 июня 2020

Проблема с использованием предложенных почтовых запросов заключается в том, что для запроса требуется токен авторизации, срок действия которого истекает. Вы можете увидеть почтовый запрос в Chrome или Firefox, если вы щелкните правой кнопкой мыши на странице -> выберите Inspect -> выберите Network, затем выберите Industry, щелкните запрос POST и нажмите Cookies есть повар ie password_grant_custom.client.expires, у которого есть отметка времени, когда авторизация больше не будет работать.

Однако вы можете использовать селен для очистки данных со всех страниц.

Сначала установите Selenium : 

`sudo pip3 install selenium` on Linux or `pip install selenium` on Windows

Затем возьмите драйвер https://sites.google.com/a/chromium.org/chromedriver/downloads, возьмите тот, который подходит для вашей версии Chrome, и извлеките его из zip-файла.

Примечание на Windows вам нужно будет добавить путь к вашей хромированной драйвере к 

driver = webdriver.Chrome(options=options)

На Linux скопировать хромированную отвертку на /usr/local/bin/chromedriver

from selenium import webdriver
from selenium.webdriver.common.by import By
import selenium.webdriver.support.expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.common.exceptions import TimeoutException
from bs4 import BeautifulSoup
import time

# Start with the driver maximised to see the drop down menus properly
options = webdriver.ChromeOptions()
options.add_argument("--start-maximized")
driver = webdriver.Chrome(options=options)
driver.get('https://www.gurufocus.com/insider/summary')

# Set the page size to 100 to reduce page loads
driver.find_element_by_xpath("//span[contains(text(),'40 / Page')]").click()
wait = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((
        By.XPATH,
        "//div[contains(text(),'100')]"))
)
element = driver.find_element_by_xpath("//div[contains(text(),'100')]").click()

# Wait for the page to load and don't overload the server
time.sleep(2)

# select Industry
driver.find_element_by_xpath("//span[contains(text(),'Industry')]").click()

# Select Financial Services
element = WebDriverWait(driver, 5).until(
    EC.presence_of_element_located((
        By.XPATH,
        "//span[contains(text(),'Financial Services')]"))
)
element.click()

ticker = []

while True:
    # Wait for the page to load and don't overload the server
    time.sleep(6)
    # Parse the HTML
    soup = BeautifulSoup(driver.page_source, 'html.parser')
    for tk in soup.find_all('td', {'class': 'table-stock-info', 'data-column': 'Ticker'}):
        ticker.append(tk.text)
    try:
        # Move to the next page
        element = WebDriverWait(driver, 5).until(EC.element_to_be_clickable((By.CLASS_NAME, 'btn-next')))
        element.click()
    except TimeoutException as ex:
        # No more pages so break
        break
driver.quit()

print(len(ticker))
print(ticker)

Выход 

4604
['PUB   ', 'ARES   ', 'EIM   ', 'CZNC   ', 'SSB   ', 'CNA   ', 'TURN   ', 'FNF   ', 'EGIF   ', 'NWPP  etc...

ОБНОВЛЕНО

Если вы хотите очистить все данные со всех страниц и / или записать в CSV, используйте pandas: 

from selenium import webdriver
from selenium.webdriver.common.by import By
import selenium.webdriver.support.expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.common.exceptions import TimeoutException
import pandas as pd
import time

# Start with the driver maximised to see the drop down menus properly
options = webdriver.ChromeOptions()
options.add_argument("--start-maximized")
driver = webdriver.Chrome(options=options)
driver.get('https://www.gurufocus.com/insider/summary')

# Set the page size to 100 to reduce page loads
driver.find_element_by_xpath("//span[contains(text(),'40 / Page')]").click()
wait = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((
        By.XPATH,
        "//div[contains(text(),'100')]"))
)
driver.find_element_by_xpath("//div[contains(text(),'100')]").click()

# Wait for the page to load and don't overload the server
time.sleep(2)

# select Industry
driver.find_element_by_xpath("//span[contains(text(),'Industry')]").click()

# Select Financial Services
element = WebDriverWait(driver, 5).until(
    EC.presence_of_element_located((
        By.XPATH,
        "//span[contains(text(),'Financial Services')]"))
)
element.click()


columns = [
    'Ticker', 'Links', 'Company', 'Price1', 'Insider Name', 'Insider Position',
    'Date', 'Buy/Sell', 'Insider Trading Shares', 'Shares Change', 'Price2',
    'Cost(000)', 'Final Share', 'Price Change Since Insider Trade (%)',
    'Dividend Yield %', 'PE Ratio', 'Market Cap ($M)', 'None'
]
df = pd.DataFrame(columns=columns)


while True:
    # Wait for the page to load and don't overload the server
    time.sleep(6)
    # Parse the HTML
    df = df.append(pd.read_html(driver.page_source, attrs={'class': 'data-table'})[0], ignore_index=True)

    try:
        # Move to the next page
        element = WebDriverWait(driver, 5).until(EC.element_to_be_clickable((By.CLASS_NAME, 'btn-next')))
        element.click()
    except TimeoutException as ex:
        # No more pages so break
        break
driver.quit()

# Write to csv
df.to_csv("Financial_Services.csv", encoding='utf-8', index=False)

Обновлено в ответ на комментарии: Сначала загрузите Firefox драйвер geckodriver из https://github.com/mozilla/geckodriver/releases извлеките драйвер. Опять же на Windows вам нужно будет добавить путь к вашему geckodriver в driver = webdriver.Firefox() или на linux скопировать geckodriver в / usr / local / bin / geckodriver 

from selenium import webdriver
from selenium.webdriver.common.by import By
import selenium.webdriver.support.expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.common.exceptions import TimeoutException
import pandas as pd
import time

# Start with the driver maximised to see the drop down menus properly
driver = webdriver.Firefox()
driver.maximize_window()
driver.get('https://www.gurufocus.com/insider/summary')

# Set the page size to 100 to reduce page loads
driver.find_element_by_xpath("//span[contains(text(),'40 / Page')]").click()
wait = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((
        By.XPATH,
        "//div[contains(text(),'100')]"))
)
driver.find_element_by_xpath("//div[contains(text(),'100')]").click()

# Wait for the page to load and don't overload the server
time.sleep(2)

# select Industry
driver.find_element_by_xpath("//span[contains(text(),'Industry')]").click()

# Select Financial Services
element = WebDriverWait(driver, 5).until(
    EC.presence_of_element_located((
        By.XPATH,
        "//span[contains(text(),'Financial Services')]"))
)
element.click()

columns = [
    'Ticker', 'Links', 'Company', 'Price1', 'Insider Name', 'Insider Position',
    'Date', 'Buy/Sell', 'Insider Trading Shares', 'Shares Change', 'Price2',
    'Cost(000)', 'Final Share', 'Price Change Since Insider Trade (%)',
    'Dividend Yield %', 'PE Ratio', 'Market Cap ($M)', 'None'
]
df = pd.DataFrame(columns=columns)
page_limit = 5
page = 0

while True:
    # Wait for the page to load and don't overload the server
    time.sleep(6)
    # Parse the HTML
    df = df.append(pd.read_html(driver.page_source, attrs={'class': 'data-table'})[0], ignore_index=True)

    # Stop after page limit is reached.
    page = page + 1
    if page >= page_limit:
        break

    try:
        # Move to the next page
        element = WebDriverWait(driver, 5).until(EC.element_to_be_clickable((By.CLASS_NAME, 'btn-next')))
        element.click()
    except TimeoutException as ex:
        # No more pages so break
        break

driver.quit()

# Write to csv
df.to_csv("Financial_Services.csv", encoding='utf-8', index=False)
...