Имитация браузера (с куки) в python запросах

Question

Я пытаюсь получить результаты поиска HTML веб-сайта с python -запросами. Но я только получаю HTML высказывание: «Проверяю ваш браузер, пожалуйста, подождите 5 секунд, пока мы вас перенаправим».

I я уже отправляю заголовки, чтобы имитировать браузер:

res = rq.get(url, params = params, headers = headers)

Есть ли что-то, что я должен сделать, например, отправить повару ie вместе с запросом GET, чтобы заставить веб-сайт поверить, что это просто какой-то регулярный пользователь в браузере?

Answer 1

Возможно, в ваших параметрах есть заголовок If-None-Match:. Это скажет серверу перенаправить вас в кеш вместо этого, поэтому вы должны удалить его.

Без каких-либо параметров это будет работать:

import requests
result = requests.get('https://genius.com/search?q=any_song_name', allow_redirects=False)
print(result)