pandas импортирует csvs с '' 'и', 'как значения в csv

Question

У меня есть CSV, в котором есть запись, подобная этой:

"432983278.2","3764",""The CITY TOW" of San Francisco, CA","",""...

, то есть в этой записи есть запятая и пара кавычек, которые должны быть выбраны как "THE CITY TOW" of San Francisco, CA Я не знаюу меня не было возможности восстановить этот csv

Я пробовал pandas.read_csv("thefile.csv",quoting=csv.QUOTE_ALL, quotechar = '"') и некоторые другие варианты кодирования и цитирования, но это все еще не может быть обработано.

Answer 1

Если это всего несколько строк, можете ли вы просто игнорировать эти строки?

import pandas as pd
pd.read_csv("thefile.csv", error_bad_lines=False)

Answer 2

Проблема в нежелательных двойных кавычках .Однако, если вы посмотрите на шаблон, (",") окажется разделителем, который может дать вам то, что вы хотите.

Поскольку все столбцы ваших данных являются строками, вы можете импортировать CSV вpandas dataframe с dtype=str и с sep='","'

"432983278.2","3764",""The CITY TOW" of San Francisco, CA","",""...

Попробуйте использовать:

df = pd.read_csv('file.csv', sep='","', dtype=str)

Answer 3

Вы можете попробовать это,

import pandas as pd

df = pd.read_csv(file_path, 
                 sep=', (?=(?:"[^"]*?(?: [^"]*)*))|, (?=[^",]+(?:,|$))',
                 engine='python')