Очистка данных с новостного сайта с помощью BeautifulSoup - PullRequest
0 голосов
/ 27 апреля 2020
def scrape_data(url,tag,tag_filter_func):
    req=requests.get(url)
    if req.status_code==200:
        content=req.content
        tags_to_filter=SoupStrainer(tag)
        soup_obj=BeautifulSoup(content,'html.parser',parse_only=tags_to_filter)
        soup_obj.find_all(tag_filter_func)

        return soup_obj

    else:
        false      
def largetext(tags):
    return True if tags.name=='a' and len(tags.get_text())>=50 else False

У меня есть две функции, largetext () - это фильтр, который помогает получить только большой парагарф. когда он передается в метод find_all, он не работает. но если я использую напрямую, не передавая scrape_data (), это работает. помогите мне решить эту проблему.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...