Получите странные буквы от арабского алфавита, когда вычищаете арабский сайт

Question

Я хотел бы почистить этот сайт: http://waqfeya.com/book.php?bid=1

, но когда я получаю, я получаю символы, подобные этим.

Вот так выглядит мой сценарий:

import requests
from bs4 import BeautifulSoup
BASE_URL = "http://waqfeya.com/book.php?bid=1" 
source = requests.get(BASE_URL)
soup = BeautifulSoup(source.text, 'lxml') 
print(soup)

Я пробовал эти вещи, но у меня не работает:

source.encoding = 'utf-8'

и это:

source.encoding = 'ISO-8859-1'

также это:

soup = BeautifulSoup(source.text, from_endocing='ISO-8859-1')

Но никто не работал на меня.

Любая помощь, пожалуйста,

Заранее спасибо.

Answer 1

Иногда запросы могут неправильно указывать кодировку.Для этого сайта мы можем получить правильную кодировку из источника.

Вы можете назначить кодировку как source.encoding='windows-1256' перед использованием source.text в BeautifulSoup.

import requests
BASE_URL = "http://waqfeya.com/book.php?bid=1"
source = requests.get(BASE_URL)
print(source.encoding)
print(source.apparent_encoding)
source.encoding='windows-1256'
print(source.text)

Мне удалось правильно получить все арабские символы.

Answer 2

Используйте urlopen вместо request

from bs4 import BeautifulSoup
from urllib import urlopen

BASE_URL = "http://waqfeya.com/book.php?bid=1"
open = urlopen(BASE_URL)
soup = BeautifulSoup(open, 'lxml')
print(soup.encode('utf-8'))