Эффективная вставка df из генератора

Question

Я создаю сценарий сопоставления данных, который объединяет два набора данных на токенах.Код выполняется, но с большим количеством записей и токенизированных полей для его завершения требуется очень много времени.Я ищу предложения о том, как сделать это более вычислительно эффективным.

Я отмечу область, которая работает плохо, но сначала немного контекста:

#example df
d = {'id': [3,6], 'Org_Name': ['Acme Co Inc.', 'Buy Cats Here Inc'], 'Address': ['123 Hammond Lane, Washington, DC', 'Washington, DC 20456']}
left_df = pd.DataFrame(data=d)

# example tokenizer
def tokenize_name(name):
    if isinstance(name, basestring) is True:
        clean_name = ''.join(c if c.isalnum() else ' ' for c in name)
        return clean_name.lower().split()
    else:
        return name

#tokenizers assigned to columns
left_tokenizers = [
    ('Org_Name', tokenize_name),
    ('Address', tokenize_name)
]

#example token dictionary
tokens_dct = {
    'acme':1,
    'co':1,
    'inc':0,
    'buy':1,
    'cats':1,
    'here':1,
    '123':1,
    'hammond':1,
    'lane':0,
    'washington':1,
    'dc':1,
    '20456':1
}

#this is the generator function used to create token/ID pairs
def prepare_join_keys(df, tokenizers):
    for source_column, tokenizer in tokenizers:
        if source_column in df.columns:
            for index, record in enumerate(df[source_column]):
                if isinstance(record, numbers.Integral) is False: #control for longs
                    if isinstance(record, float) is False: #control for nans
                        for token in tokenizer(record):
                            if tokens_dct[token] == 1: #tokenize only for tokens present in dictionary with value 1
                                yield (token, df.iloc[index]['id'])

# THIS CODE TAKES A LONG TIME TO RUN
left_keyed = pd.DataFrame(columns=('token', 'id'))
for item in prepare_join_keys(left_df, left_tokenizers):
    left_keyed.loc[len(left_keyed)] = item

left_keyed

Словарь используется для обрезки общих токенов (LLC, Corp, www и т. Д.), Но все же этоможет быть вычислительно дорогим с большим количеством токенов.Интересно, неэффективен ли способ, которым я вставляю сгенерированные пары токен / ID в фрейм данных?Есть лучший способ сделать это?Также интересно, совершаю ли я вычислительный грех, используя вместо вместо elif

Заранее спасибо.

Answer 1

Нет никакой реальной причины делать это в пандах.Намного эффективнее использовать готовый токенизатор.Это должно делать то, что вы хотите.

from sklearn.feature_extraction.text import CountVectorizer
import numpy as np
import pandas as pd

# since you have a predefined vocabulary, you can fix it here
vocabulary = np.array([w for w, b in tokens_dct.items() if b])
cv = CountVectorizer( vocabulary=vocabulary)

frame_list = []
for colname in ['Org_Name', 'Address']:
    tokenmapping = cv.fit_transform(left_df[colname])
    df_row, token_id = tokenmapping.nonzero()

    frame_list.append(pd.DataFrame(np.vstack([vocabulary[token_id], left_df['id'].values[df_row]]).T, columns = ['token', 'id']))

left_keyed = pd.concat(frame_list)