Я использую Beautifulsoup с Python.В списках страниц ссылки не заключаются в теги <a href>.
Я хочу получить все ссылки, начиная с http / https, используя суповую операцию.Я попробовал некоторые регулярные выражения, приведенные здесь , но они дают неожиданные результаты для меня.поэтому я подумал, что если что-нибудь возможно с помощью супа?
Пример ответов, из которых я хочу получить ссылки:
<html>\n<head>\n</head>\n<link href="https://fonts.googleapis.com/css?family=Open+Sans:600" rel="stylesheet"/>\n<style>\n html, body {\n height: 100%;\n width: 100%;\n }\n\n body {\n background: #F5F6F8;\n font-size: 16px;\n font-family: \'Open Sans\', sans-serif;\n color: #2C3E51;\n }\n .main {\n display: flex;\n align-items: center;\n justify-content: center;\n height: 100vh;\n }\n .main > div > div,\n .main > div > span {\n text-align: center;\n }\n .main span {\n display: block;\n padding: 80px 0 170px;\n font-size: 3rem;\n }\n .main .app img {\n width: 400px;\n }\n </style>\n<script type="text/javascript">\n var fallback_url = "null";\n var store_link = "itms-apps://itunes.apple.com/GB/app/id1032680895?ls=1&mt=8";\n var web_store_link = "https://itunes.apple.com/GB/app/id1032680895?mt=8";\n var loc = window.location;\n function redirect_to_web_store(loc) {\n loc.href = web_store_link;\n }\n function redirect(loc) {\n loc.href = store_link;\n if (fallback_url.startsWith("http")) {\n setTimeout(function() {\n loc.href = fallback_url;\n },5000);\n }\n }\n </script>\n<body onload="redirect(loc)">\n<div class="main">\n<div class="workarea">\n<div class="logo">\n<img onclick="redirect_to_web_store(loc)" src="https://cdnappicons.appsflyer.com/app|id1032680895.png" style="width:200px;height:200px;border-radius:20px;"/>\n</div>\n<span>BetBull: Sports Betting & Tips</span>\n<div class="app">\n<img onclick="redirect_to_web_store(loc)" src="https://cdn.appsflyer.com/af-statics/images/rta/app_store_badge.png"/>\n</div>\n</div>\n</div>\n</body>\n</html>
Пробовал:
regex_pattern_to_find_all_links = r'(?:(?:https?|ftp):\/\/)?[\w/\-?=%.]+\.[\w/\-?=%.]+'
soup = BeautifulSoup(resp.read(), 'html.parser')
urls = re.findall(regex_pattern_to_find_all_links, str(soup))
Результат:
['https://fonts.googleapis.com/css?family=Open', '//itunes.apple.com/GB/app/id1032680895?ls=1', 'https://itunes.apple.com/GB/app/id1032680895?mt=8', 'window.location', 'loc.href', 'loc.href', 'fallback_url.startsWith', 'loc.href', 'https://cdnappicons.appsflyer.com/app', 'id1032680895.png', 'https://cdn.appsflyer.com/af-statics/images/rta/app_store_badge.png']
Как вы можете видеть выше, я не уверен, почему регулярное выражение совпадает с вещами, которые даже не являются URL-адресами.
То, что я пробовал. Наиболее одобренный и принятый ответздесь не в состоянии обнаружить ссылки вообще !!Я не уверен, что я делаю неправильно,