Как мне сделать, чтобы Python выполнял поиск по списку веб-сайтов или подкаталогам веб-сайтов для получения конкретной информации

Question

Мне нужна помощь в создании "поисковой системы" на Python, которая ищет определенную информацию в HTML-коде, а затем добавляет ее в список, и я даже не имею ни малейшего представления даже начать пытаться сделать это.

Я пробовал пару вещей, но я не знаю, с чего начать

import ???

a=["something", "somethinelse", "etc."]
b=[]
c=str(input("Input the wanted str")

def look(x):
    y= str("https://www.somewhere.idk/"+x)

    #Check if the page has the spesific thing I'm looking for
    if somthing in y:
        b.append(y)


for i in range(a) :
    look(a)

Что я хочу сделать, это получить список подкаталогов веб-сайта, которые содержат строку.

Answer 1

import requests
from time import sleep
a=["https://www.example1.com/","https://example2.com/","https://example3.com/"]
dat=str(input("What str do you seek: "))

def look(x):
    global dat


    luk=0
    #Loop to look at each of the 1-10 sub directories
    for i in range(10):
        luk+=1
        a.append(luk)
        k =str(x)+str(luk)
        print(k)
        y = requests.get(k)
        #Check if the page has the specific thing I'm looking for
        if dat in str(y.text):
            print("True")
        else:
            print("False")
        sleep(1)



for i in range(len(a)) :
    look(str(a[i]))

Спасибо, что указали мне правильное направление с библиотекой «запросов».