регулярное выражение Python простой найти все начальные и конечные точки

Question

import bs4
from urllib.request import urlopen
import re
import os
html=urlopen('https://www.flickr.com/search/?text=dog')
soup=bs4.BeautifulSoup(html,'html.parser')
print(soup.title)
x=soup.text
y=[]
for i in re.findall('c1.staticflickr.com\.jpg',x):
    print(i)

я знаю, что изображения начинаются с c1.staticflickr.com и заканчиваются на .jpg, как я могу напечатать каждую ссылку на изображение (я немного ржавый в регулярном выражении, я пытался добавить некоторые вещи, но не работал)

Answer 1

У вас есть два способа собрать то, что вы хотите, но кажется, что регулярное выражение будет лучше, потому что URL-адреса имеют канонический формат.Но если вы используете bs4 для извлечения URL-адресов, что будет немного сложнее, поскольку они внутри style.

import bs4
import requests
import re

resp = requests.get('https://www.flickr.com/search/?text=dog')
html = resp.text
result = re.findall(r'c1\.staticflickr\.com/.*?\.jpg',html)
print(len(result))
print(result[:5])

soup=bs4.BeautifulSoup(html,'html.parser')
result2 = [ re.findall(r'c1\.staticflickr\.com/.*?\.jpg',ele.get("style"))[0]
            for ele in soup.find_all("div",class_="view photo-list-photo-view requiredToShowOnServer awake")]
print(len(result2))
print(result2[:5])

Edit: вы можете получить дополнительную информацию через специальный URL-адрес вместо использования selenium.И я не проверял, может ли он получить информацию, которая на первой странице.

import requests

url = "https://api.flickr.com/services/rest?sort=relevance&parse_tags=1&content_type=7&extras=can_comment,count_comments,count_faves,description,isfavorite,license,media,needs_interstitial,owner_name,path_alias,realname,rotation,url_c,url_l,url_m,url_n,url_q,url_s,url_sq,url_t,url_z&per_page={per_page}&page={page}&lang=en-US&text=dog&viewerNSID=&method=flickr.photos.search&csrf=&api_key=352afce50294ba9bab904b586b1b4bbd&format=json&hermes=1&hermesClient=1&reqId=c1148a88&nojsoncallback=1"

with requests.Session() as s:
    #resp = s.get(url.format(per_page=100,page=1))
    resp2 = s.get(url.format(per_page=100,page=2))

    for each in resp2.json().get("photos").get("photo")[:5]:
        print(each.get("url_n_cdn"))
        print(each.get("url_m")) # there are more url type in JSON, url_q url_s url_sq url_t url_z