Хотите удалить все ссылки профиля пользователя с данного сайта

Question

from bs4 import BeautifulSoup
import requests
r = requests.get('http://iacts.org/members/')
soup = BeautifulSoup(r.text,'lxml')

for link in soup.find('div',id_='members-dir-list'):
  for link1 in link.find_all('div',class_='item'):
     for link2 in link1.find_all('a'):
        for link3 in link2.find('href'):
            print link3.text

Не получая ссылки участников, хотите удалить ссылки профиля пользователя с данного сайта.

Answer 1

Попробуйте код ниже.Вы можете открыть инструменты разработчика Chrome (F12) и посмотреть, какие данные формы были отправлены в запрос на публикацию, нажав кнопку поиска.Затем вы имитируете запросы, передавая данные в запросах.

import requests
import lxml
from lxml import html

data = {
    "iacts_search": "Search",
    "bp_profile_search": "true"
}

r = requests.post('http://iacts.org/members/', data=data)

tree = html.fromstring(r.content)

member_list = tree.xpath('//*[@id="members-list"]//div[@class="item-title"]//a')

# print(len(member_list))

for member in member_list:
    print(member.get('href'))

Результаты:

http://iacts.org/members/Jc
http://iacts.org/members/Jc2
http://iacts.org/members/Ramesh-test
http://iacts.org/members/Raj
http://iacts.org/members/Arvind
http://iacts.org/members/Nhf
http://iacts.org/members/Man
http://iacts.org/members/Srujan
http://iacts.org/members/Vikas
http://iacts.org/members/Manohar
http://iacts.org/members/Sanjeeva Rao
http://iacts.org/members/Atul Kumar Gupta
http://iacts.org/members/Charlesmundwp
http://iacts.org/members/Amjad M
http://iacts.org/members/Dr Mrithyunjaya V
http://iacts.org/members/Siddharth