Как получить заголовки с веб-страниц, используя Beautiful Soup в Python и проходя через

Question

Я использую bs4 в python для разбора веб-страниц и получения информации. У меня проблемы с получением только названия. Другая часть, с которой я боролся, - переход по ссылкам. Должно ли это быть сделано рекурсивно или я смогу сделать это через цикл?

def getTitle(link):
    resp = urllib.request.urlopen(link)
    soup = BeautifulSoup(resp, 'html.parser')
    print(soup.find("<title>"))

Answer 1

from bs4 import BeautifulSoup    
import urllib    

def getTitle(link):
    resp = urllib.request.urlopen(link)
    soup = BeautifulSoup(resp, 'html.parser')
    return soup.title.text

print(getTitle('http://www.bbc.co.uk/news'))

Который отображает:

Home - BBC News