Как извлечь конкретную информацию из писем с помощью машинного обучения?

Question

У меня есть несколько электронных писем со списком акций, цен и количества. Каждый день список форматируется немного по-разному, и я надеялся использовать NLP, чтобы попытаться понять прочитанное в данных и переформатировать его, чтобы показать информацию в правильном формате.

Вот пример получаемых писем:

Symbol  Quantity    Rate
AAPL    16        104
MSFT    8.3k      56.24
GS      34        103.1
RM      3,400     -10
APRN    6k        11
NP      14,000    -44

Как мы видим, количество в разных форматах, тикер всегда стандартный, но показатель либо положительный, либо отрицательный, либо может иметь десятичные дроби. Другая проблема заключается в том, что заголовки не всегда одинаковы, поэтому это не идентификатор, на который я могу положиться.

До сих пор я видел несколько примеров онлайн, где это работает для имен, но я не могу реализовать это для биржевого тикера, количества и цены. Код, который я пробовал до сих пор, приведен ниже:

import re
import nltk
from nltk.corpus import stopwords
stop = stopwords.words('english')

string = """

To: "Anna Jones" <anna.jones@mm.com>
From: James B.

Hey,
This week has been crazy. Attached is my report on IBM. Can you give it a quick read and provide some feedback.
Also, make sure you reach out to Claire (claire@xyz.com).
You're the best.
Cheers,
George W.
212-555-1234
"""


def extract_phone_numbers(string):
    r = re.compile(r'(\d{3}[-\.\s]??\d{3}[-\.\s]??\d{4}|\(\d{3}\)\s*\d{3}[-\.\s]??\d{4}|\d{3}[-\.\s]??\d{4})')
    phone_numbers = r.findall(string)
    return [re.sub(r'\D', '', number) for number in phone_numbers]


def extract_email_addresses(string):
    r = re.compile(r'[\w\.-]+@[\w\.-]+')
    return r.findall(string)


def ie_preprocess(document):
    document = ' '.join([i for i in document.split() if i not in stop])
    sentences = nltk.sent_tokenize(document)
    sentences = [nltk.word_tokenize(sent) for sent in sentences]
    sentences = [nltk.pos_tag(sent) for sent in sentences]
    return sentences


def extract_names(document):
    names = []
    sentences = ie_preprocess(document)
    for tagged_sentence in sentences:
        for chunk in nltk.ne_chunk(tagged_sentence):
            if type(chunk) == nltk.tree.Tree:
                if chunk.label() == 'PERSON':
                    names.append(' '.join([c[0] for c in chunk]))
    return names


if __name__ == '__main__':
    numbers = extract_phone_numbers(string)
    emails = extract_email_addresses(string)
    names = extract_names(string)

    print(numbers)
    print(emails)
    print(names)

Этот код хорошо работает с числами, электронными письмами и именами, но я не могу воспроизвести это для примера, который у меня есть, и не знаю, как это сделать. Любые советы будут более чем полезны.

Answer 1

Вы можете создать регулярные выражения, которые будут проверять числа и суммы.

Однако для палочек вам придется сделать что-то по-другому. Я подозреваю, что названия акций не всегда пишутся заглавными буквами в электронной почте. Если это так, просто напишите сценарий, который будет использовать API некоторых бирж и запускать только те слова, которые имеют все буквы в верхнем регистре. Но если названия акций не пишутся заглавными буквами в электронных письмах, вы можете сделать несколько вещей. Вы можете проверить каждое слово в письме по отношению к этой бирже, если это псевдоним. Если вы хотите ускорить этот процесс, вы можете попробовать выполнить разбор зависимостей и запустить только существительные или местоимения против API.