Удалите стоп-слова из столбца данных с помощью Python - PullRequest
Новая
       28

Удалите стоп-слова из столбца данных с помощью Python

1 голос
/ 17 января 2020

Мне удалось извлечь список слов с веб-сайта и сохранить их в фрейме данных . Теперь мне нужно удалить некоторые из этих слов из столбца «Палабра» и сохранить только первые 500 записей.

Пока это мой код: 

import requests
wiki_url = "https://es.wiktionary.org/wiki/Wikcionario:Frecuentes-(1-1000)-Subt%C3%ADtulos_de_pel%C3%ADculas"
wiki_texto = requests.get(wiki_url).text
from bs4 import BeautifulSoup
wiki_datos = BeautifulSoup(wiki_texto, "html")
wiki_filas = wiki_datos.findAll("tr")
print(wiki_filas[1])

print("...............................")

wiki_celdas = wiki_datos.findAll("td")
print(wiki_celdas[0:])
fila_1 = wiki_celdas[0:]
info_1 = [elemento.get_text() for elemento in fila_1]
print(fila_1)
print(info_1)
info_1[0] = int(float(info_1[0]))
print(info_1)


print("...............................")

num_or = [int(float(elem.findAll("td")[0].get_text())) for elem in wiki_filas[1:]]
palabras = [elem.findAll("td")[1].get_text().rstrip() for elem in wiki_filas[1:]]
frecuencia = [elem.findAll("td")[2].get_text().rstrip() for elem in wiki_filas[1:]]
print(num_or[0:])
print(palabras[0:])
print(frecuencia[0:])

from pandas import DataFrame
tabla = DataFrame([num_or, palabras, frecuencia]).T
tabla.columns = ["Núm. orden", "Palabras", "Frecuencia"]
print(tabla.head())
print(tabla)

print("...............................")

import nltk
nltk.download()
from nltk.corpus import stopwords 
prep = stopwords.words('spanish')
print(prep)

enter image description here

Итак, мне нужно удалить список слов, содержащихся в этом коде

stopwords.words ('spani sh')

из столбца «Палабрас» и сохраняйте только первые 500 записей (слова с более высокой частотой): 

import nltk
nltk.download()
from nltk.corpus import stopwords 
prep = stopwords.words('spanish')

Заранее спасибо!

1 Ответ

2 голосов
/ 17 января 2020

Мне удалось извлечь список слов с веб-сайта и сохранить их в словаре.

Примечание: На самом деле, вы сохранили их в кадре данных.

Вы можете использовать isin. В основном вы хотите получить строки, в которых слово в столбце 'Palabras' находится в вашем списке стоп-слов. Поэтому вам просто нужно отфильтровать эти строки, а затем использовать противоположные из тех, которые используют ~. А так как он уже отсортирован, просто используйте .head(500)

tabla = tabla[~tabla['Palabras'].isin(prep)].head(500)

Кроме того, поскольку html содержит теги table, я хотел бы рассмотреть возможность использования pandas .read_html(), так как он использует BeautifulSoup под капотом , но делает тяжелую работу для вас. Ваш код может быть значительно сокращен:

Полный код, те же результаты: 

import nltk
import pandas as pd
#nltk.download()
from nltk.corpus import stopwords 
prep = stopwords.words('spanish')
print(prep)



tabla_beta = pd.read_html(wiki_url)[0]
tabla_beta.columns = ["Núm. orden", "Palabras", "Frecuencia"]
tabla_beta = tabla_beta[~tabla_beta['Palabras'].isin(prep)].head(500)
...