Получить количество плохих строк / ошибок при чтении CSV с пандами (error_bad_lines)

Question

Я читаю CSV-файл в пандах и пропускаю некоторые плохие строки / строки с помощью:

df2 = pd.read_csv("Test.csv", sep=';', engine='python', error_bad_lines=False)

Как подсчитать общее количество пропущенных строк в Python?

Прямо сейчас я получаю только:

Как мне это посчитать?

Answer 1

f = open("Test.csv")
row_count= len(f.readlines())
df2 = pd.read_csv("Test.csv", sep=';', engine='python', error_bad_lines=False)

Количество пропущенных строк

skipped_rows  = row_count  - df2.shape[0]

Answer 2

Вы можете рассчитать разницу строк:

with open("test.csv") as f:
    len_csv = sum(1 for line in f)

number_of_skipped_rows = len_csv - len(df2)