Как получить результирующий URL из поиска? - PullRequest
Новая
       27

Как получить результирующий URL из поиска?

1 голос
/ 16 марта 2020

Я пытаюсь написать программу, которая выполняет химический поиск по https://echa.europa.eu/ и получает результат. Поле «Поиск химических веществ» находится в середине главной веб-страницы. Я хочу получить итоговые URL-адреса от поиска каждого химического вещества, указав номер cas (например, 67-56-1). Кажется, что URL, который я получаю, не включает предоставленный номер cas.

https://echa.europa.eu/search-for-chemicals?p_p_id=disssimplesearch_WAR_disssearchportlet&p_p_lifecycle=0&_disssimplesearch_WAR_disssearchportlet_searchOccurred=true&_disssimplesearch_WAR_disssearchportlet_sessionCriteriaId=dissSimpleSearchSessionParam101401584308302720

Я попытался вставить другой номер cas (71-23-8) в поле "p_p_id", но он не дал ожидаемого результата поиска.
https://echa.europa.eu/search-for-chemicals?p_p_id=71-23-8

Я также изучил заголовки методов GET, запрошенных у Chrome, которые также не включали номер cas.

Использует ли веб-сайт переменные для хранения входного запроса? Есть ли способ или инструмент, который можно использовать для получения результирующего URL, включая поиск по номеру cas?

Как только я это выясню, я буду использовать Python, чтобы получить данные и сохранить их как Excel. файл.

Спасибо.

1 Ответ

1 голос
/ 16 марта 2020

Вам нужно получить JESSIONID cook ie, запросив основной URL один раз, а затем отправив POST на https://echa.europa.eu/search-for-chemicals. Но для этого нужны также некоторые обязательные параметры URL

Использование и : 

query="71-23-8"
millis=$(($(date +%s%N)/1000000))
curl -s -I -c cookie.txt 'https://echa.europa.eu/search-for-chemicals'
curl -s -L -b cookie.txt 'https://echa.europa.eu/search-for-chemicals' \
    --data-urlencode "p_p_id=disssimplesearch_WAR_disssearchportlet" \
    --data-urlencode "p_p_lifecycle=1" \
    --data-urlencode "p_p_state=normal" \
    --data-urlencode "p_p_col_id=column-1" \
    --data-urlencode "p_p_col_count=2" \
    --data-urlencode "_disssimplesearch_WAR_disssearchportlet_javax.portlet.action=doSearchAction" \
    --data-urlencode "_disssimplesearch_WAR_disssearchportlet_backURL=https://echa.europa.eu/home?p_p_id=disssimplesearchhomepage_WAR_disssearchportlet&p_p_lifecycle=0&p_p_state=normal&p_p_mode=view&p_p_col_id=column-1&p_p_col_count=2" \
    --data-urlencode "_disssimplesearchhomepage_WAR_disssearchportlet_sessionCriteriaId=" \
    --data "_disssimplesearchhomepage_WAR_disssearchportlet_formDate=$millis" \
    --data "_disssimplesearch_WAR_disssearchportlet_searchOccurred=true" \
    --data "_disssimplesearch_WAR_disssearchportlet_sskeywordKey=$query" \
    --data "_disssimplesearchhomepage_WAR_disssearchportlet_disclaimer=on" \
    --data "_disssimplesearchhomepage_WAR_disssearchportlet_disclaimerCheckbox=on"

Использование и просмотр с помощью 

import requests
from bs4 import BeautifulSoup
import time

url = 'https://echa.europa.eu/search-for-chemicals'
query = '71-23-8'

s = requests.Session()
s.get(url)

r = s.post(url, 
    params = {
        "p_p_id": "disssimplesearch_WAR_disssearchportlet",
        "p_p_lifecycle": "1",
        "p_p_state": "normal",
        "p_p_col_id": "column-1",
        "p_p_col_count": "2",
        "_disssimplesearch_WAR_disssearchportlet_javax.portlet.action": "doSearchAction",
        "_disssimplesearch_WAR_disssearchportlet_backURL": "https://echa.europa.eu/home?p_p_id=disssimplesearchhomepage_WAR_disssearchportlet&p_p_lifecycle=0&p_p_state=normal&p_p_mode=view&p_p_col_id=column-1&p_p_col_count=2",
        "_disssimplesearchhomepage_WAR_disssearchportlet_sessionCriteriaId": ""
    },
    data = {
        "_disssimplesearchhomepage_WAR_disssearchportlet_formDate": int(round(time.time() * 1000)),
        "_disssimplesearch_WAR_disssearchportlet_searchOccurred": "true",
        "_disssimplesearch_WAR_disssearchportlet_sskeywordKey": query,
        "_disssimplesearchhomepage_WAR_disssearchportlet_disclaimer": "on",
        "_disssimplesearchhomepage_WAR_disssearchportlet_disclaimerCheckbox": "on"
    }
)
soup = BeautifulSoup(r.text, "html.parser")
table = soup.find("table")

data = [
    (
        t[0].find("a").text.strip(), 
        t[0].find("a")["href"], 
        t[0].find("div", {"class":"substanceRelevance"}).text.strip(),
        t[1].text.strip(),
        t[2].text.strip(),
        t[3].find("a")["href"] if t[3].find("a") else "",
        t[4].find("a")["href"] if t[4].find("a") else "",
    )
    for t in (t.find_all('td') for t in table.find_all("tr"))
    if len(t) > 0 and t[0].find("a") is not None
]
print(data)

Обратите внимание, что я установил параметр метки времени (параметр formDate) в случае, если он действительно проверен на сервере

...