хочу удалить эту ссылку с деталями участников

Question

from bs4 import BeautifulSoup
import requests
for count in range(1,3):
    r = requests.get('http://findadentist.co.in/doctorSearch.asp?search=1&curpage=' + str(count) + '&#src')
    soup = BeautifulSoup(r.text,'lxml')

    table = soup.find('table',class_='tableborder')
    for data in table.find('tbody'):
        for data1 in data.find_all('tr'):
            print data1.text

Вы можете выбрать штат Махараштра и город Мумбаи

Answer 1

Вам нужно сделать POST-запрос вместо GET-запроса. Для этого запроса POST требуется четыре значения.

В вашем случае значения «Махараштра» и «Мумбаи» изменяются на такие значения. Используйте этот код для запросов, а затем используйте BeautifulSoup для его анализа:

payload = {'cboCity': 'Mumbai',
           'cboState': '15',
           'txtChoice': 'PLEASE ENTER YOUR CHOICE',
           'cboSpectility': 'All'}
url = 'http://findadentist.co.in/doctorSearch.asp?search=1&'
res = requests.post(url, data=payload)

Вы можете найти все такие данные в браузере devtools. Зайдите в Devtools-> Сеть