Удаление / удаление строк в панде DataFrame с определенной строкой в ​​ЛЮБОМ столбце

Question

Может быть простой ответ, поэтому заранее извиняюсь (минимальный опыт кодирования).

Я пытаюсь удалить любые строки с определенной строкой (Экономика 7) из ЛЮБОГО столбца и пытаюсь выйти из этой темы:

Как удалить строки из фрейма данных pandas, который содержит определенную строку в определенном столбце?

Не удалось заставить его работать, но попробовал этот код на предыдущем DataFrame (теперь df = energy), и он, кажется, работает, хотя теперь он выдает ошибку:

no_eco = energy[~energy.apply(lambda series: series.str.contains('Economy 7')).any(axis=1)]

AttributeError: ('Can only use .str accessor with string values, which use np.object_ dtype in pandas', 'occurred at index existingProductCodeGas')

Есть предложения? ps DataFrame очень большой.

Спасибо

Answer 1

Мы можем удалить строки, если какой-либо столбец содержит определенную строку, используя метод to_string

df.drop(df[df.apply(lambda row: 'Tony' in row.to_string(header=False), axis=1)].index, inplace=True)

полный пример:

import pandas as pd

df = pd.DataFrame(columns = ['Name', 'Location'])
df.loc[len(df)] = ['Mathew', 'Houston']
df.loc[len(df)] = ['Tony', 'New York']
df.loc[len(df)] = ['Jerom', 'Los Angeles']
df.loc[len(df)] = ['Aby', 'Dallas']
df.loc[len(df)] = ['Elma', 'Memphis']
df.loc[len(df)] = ['Zack', 'Chicago']
df.loc[len(df)] = ['Lisa', 'New Orleans']
df.loc[len(df)] = ['Nita', 'Las Vegas']

df.drop(df[df.apply(lambda row: 'Tony' in row.to_string(header=False), axis=1)].index, inplace=True)
print(df)

Выход:

     Name     Location
0  Mathew      Houston
2   Jerom  Los Angeles
3     Aby       Dallas
4    Elma      Memphis
5    Zack      Chicago
6    Lisa  New Orleans
7    Nita    Las Vegas
[Finished in 1.4s]

Answer 2

Вы можете выбрать только столбцы объекта, очевидно, строки: select_dtypes:

df = energy.select_dtypes(object)
#added regex=False for improve performance like mentioned @jpp, thank you
mask = ~df.apply(lambda series: series.str.contains('Economy 7', regex=False)).any(axis=1)
no_eco = energy[mask]

Sample

energy = pd.DataFrame({
        'A':list('abcdef'),
         'B':[4,5,4,5,5,4],
         'C':[7,8,9,4,2,3],
         'D':[1,3,5,7,1,0],
         'E':[5,3,6,9,2,4],
         'F':list('adabbb')
})

print (energy)
   A  B  C  D  E  F
0  a  4  7  1  5  a
1  b  5  8  3  3  d
2  c  4  9  5  6  a
3  d  5  4  7  9  b
4  e  5  2  1  2  b
5  f  4  3  0  4  b

df = energy.select_dtypes(object)
mask = ~df.apply(lambda series: series.str.contains('d')).any(axis=1)
no_eco = energy[mask]
print (no_eco)

   A  B  C  D  E  F
0  a  4  7  1  5  a
2  c  4  9  5  6  a
4  e  5  2  1  2  b
5  f  4  3  0  4  b