Извлечение и подсчет уникальных хэштегов на строку из кадра данных панд - PullRequest
Новая
       38

Извлечение и подсчет уникальных хэштегов на строку из кадра данных панд

0 голосов
/ 29 мая 2018

У меня есть pandas dataframe df со строковым столбцом Posts, что-то вроде этого: 

df['Posts']
0       "This is an example #tag1"
1       "This too is an example #tag1 #tag2"
2       "Yup, still an example #tag1 #tag1 #tag3"

Когда я попытался использовать следующий код для подсчета количества хэштегов, 

count_hashtags = df['Posts'].str.extractall(r'(\#\w+)')[0].value_counts()

Я получаю, 

#tag1             4
#tag2             1
#tag3             1

Но мне нужно, чтобы результатом было количество уникальных хэштегов в строке, что-то вроде этого: 

#tag1             3
#tag2             1
#tag3             1

Ответы [ 2 ]

0 голосов
/ 29 мая 2018

используйте drop_duplicates, чтобы избавиться от дубликатов тегов на пост, а затем вы можете использовать value_counts

df.Posts.str.extractall(
    r'(\#\w+)'
).reset_index().drop_duplicates(['level_0', 0])[0].value_counts()

более короткую альтернативу, где level=0 передается reset_index

df.Posts.str.extractall(
    r'(\#\w+)'
).reset_index(level=0).drop_duplicates()[0].value_counts()

оба будут выводить: 

#tag1    3
#tag3    1
#tag2    1
Name: 0, dtype: int64
0 голосов
/ 29 мая 2018

Это одно решение, использующее itertools.chain и collections.Counter: 

import pandas as pd
from collections import Counter
from itertools import chain

s = pd.Series(['This is an example #tag1',
               'This too is an example #tag1 #tag2',
               'Yup, still an example #tag1 #tag1 #tag3'])

tags = s.map(lambda x: {i[1:] for i in x.split() if i.startswith('#')})

res = Counter(chain.from_iterable(tags))

print(res)

Counter({'tag1': 3, 'tag2': 1, 'tag3': 1})

Тест производительности

collections.Counter в ~ 2 раза быстрее pd.Series.str.extractall для большой серии: 

import pandas as pd
from collections import Counter
from itertools import chain

s = pd.Series(['This is an example #tag1',
               'This too is an example #tag1 #tag2',
               'Yup, still an example #tag1 #tag1 #tag3'])

def hal(s):
    return s.str.extractall(r'(\#\w+)')\
            .reset_index(level=0)\
            .drop_duplicates()[0]\
            .value_counts()

def jp(s):
    tags = s.map(lambda x: {i[1:] for i in x.split() if i.startswith('#')})
    return Counter(chain.from_iterable(tags))

s = pd.concat([s]*100000, ignore_index=True)

%timeit hal(s)  # 2.76 s per loop
%timeit jp(s)   # 1.25 s per loop
...