невозможно удалить [Безымянный: 0] и данные поля NaN

Question

Невозможно удалить [Безымянный: 0] и данные полей NaN для pd.DataFrame, и не знаю, почему слишком много нежелательных данных, поступающих из следующего кодирования, спасибо!

# -*- coding:UTF-8 -*-

from pyvirtualdisplay import Display
from bs4 import BeautifulSoup
from selenium import webdriver
import pandas as pd

display = Display(visible=0, size=(1024, 768))
display.start()

driver = webdriver.Firefox()
driver.get("http://www.fdmbenzinpriser.dk/searchprices/5/")

lines = [event.get_attribute('outerHTML') for event in driver.find_elements_by_xpath('//table[@id="sortabletable"]')]

df = pd.concat([pd.read_html(line)[0] for line in lines], ignore_index=True)
print df
print df.shape

driver.close()
display.stop()

Существуют результаты кодирования:

[                                           Unnamed: 0   Pris                        Adresse      Tidspunkt
0                                                 NaN   8.99       Odinsvej 2 4100 Ringsted  11 timer 55 m
1                                                 NaN   9.09   Sdr.Havnegade 3 6000 Kolding  14 timer 48 m
2                                                 NaN   9.09    Vestermarksvej 2 6600 Vejen  16 timer 35 m
3                                                 NaN  10.99  Bøsbrovej 92B 8940 Randers SV   21 timer 1 m
* Denne pris er indberettet af selskabet Indbe...    NaN

Ожидаемый результат:

Pris                               Adresse       Tidspunkt
8.99              Odinsvej 2 4100 Ringsted   8 timer 47 m
9.09          Sdr.Havnegade 3 6000 Kolding  11 timer 39 m
9.09           Vestermarksvej 2 6600 Vejen  13 timer 27 m
10.99            Kastanievej  2 5800 Nyborg  17 timer 52 m
10.99            Vestvejen 95 6200 Aabenraa  17 timer 52 m
10.99     Gammel Århusvej 3 8940 Randers SV  17 timer 52 m
10.99   Frederiksværksgade 87 3400 Hillerød  17 timer 52 m
10.99        Egelundsvej 5 2620 Albertslund  17 timer 52 m
10.99         Bøsbrovej 92B 8940 Randers SV  17 timer 52 m
10.99           Milnersvej 47 3400 Hillerød  17 timer 52 m

Answer 1

Вы можете использовать для удаления Unnamed столбцы startswith для логической маски с loc:

df = df.loc[:, ~df.columns.str.startswith('Unnamed')]

И при необходимости для удаления NaN s во всех данных столбца использовать dropna:

df.dropna(axis=0, how='all', inplace=True)