Pdf Miner возвращает странные буквы / символы - PullRequest
Новая
       51

Pdf Miner возвращает странные буквы / символы

0 голосов
/ 18 октября 2018

Я использую pdfminer с python 3 и получаю странные буквы в тексте, который восстанавливается из pdf.

Например, я получаю significant вместо significant (обратите внимание, что буквы f и I объединены в одно).

Понятия не имею, почему это происходит.Это код, который я использую. 

from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from pdfminer.pdfpage import PDFPage
from io import StringIO
from nltk.tokenize import sent_tokenize


def convert_pdf_to_txt(path):
    rsrcmgr = PDFResourceManager()
    retstr = StringIO()
    codec = 'utf-8'
    laparams = LAParams()
    device = TextConverter(rsrcmgr, retstr, codec=codec, laparams=laparams)
    fp = open(path, 'rb')
    interpreter = PDFPageInterpreter(rsrcmgr, device)
    password = ""
    maxpages = 0
    caching = True
    pagenos=set()

    for page in PDFPage.get_pages(fp, pagenos, maxpages=maxpages, password=password,caching=caching, check_extractable=True):
        interpreter.process_page(page)

    text = retstr.getvalue()

    sentences = sent_tokenize(text)

    for s in sentences:
        print(s)
        print("\n\n")

На данный момент я могу только предположить, что это может быть связано с кодировкой, но кажется, что нет способа извлечь кодировкуPDF

1 Ответ

0 голосов
/ 18 октября 2018

PDFminer работает правильно.Рассматриваемый символ - это Unicode-символ U + FB01, fi лигатура .

Добавьте строку для замены fi на fi в вашем коде: 

for s in sentences:
    s = s.replace ('fi', 'fi')
    print (s)

Существует еще одна распространенная - и чисто типографская (*) - лигатура, определенная в Unicode: U + FB02, fl лигатура;Относитесь к этому так же: 

    s = s.replace ('fl', 'fl')

и пару других в блоке буквенного представления , который вы также можете включить в него.

(*) Do не сделать ошибку, чтобы изменить æ на ae и œ на oe.Это не «чисто типографские лигатуры», а действительные символы сами по себе.

...