У меня есть большой файл TSV около 140 миллионов строк. Однако, когда я пытаюсь прочитать файл через разные коды, я страдаю от разных ошибок.
pd.read_csv('abc.tsv',delimiter='\t',encoding='utf-8') Считывает только 35988840 строк без каких-либо ошибок или предупреждений. np.genfromtxt("abc.tsv", names=True, delimiter="\t", invalid_raise = False) -
Считывает строки 35988840 со следующим сообщением. main : 1: Предупреждение о преобразовании: Обнаружены некоторые ошибки! Строка № 35988840 (получено 3 столбца вместо 8)
np.genfromtxt("abc.tsv", names=True, delimiter="\t")
np.genfromtxt("abc.tsv", names=True, delimiter="\t", skip_header=1)
np.genfromtxt("abc.tsv", names=True, delimiter="\t", invalid_raise = False)
Та же ошибка в последних трех, что количество столбцов отличается. Как мы go об этом? Пожалуйста, помогите