Открытие CSV-файла в numpy.txt в Python3

Question

У меня есть CSV-файл и я пытаюсь открыть его, используя numpy.loadtxt.если я открою его с помощью pandas, файл будет выглядеть следующим образом:

small example:

Name       Accession  Class Species  Annotation  CF330
NaN             NaN         NaN          NaN         NaN         NaN
A2M     NM_000014.4  Endogenous           Hs         NaN     11495.0
ACVR1C     NM_145259.2  Endogenous           Hs         NaN        28.0
ADAM12     NM_003474.5  Endogenous           Hs         NaN      1020.0
ADGRE1  NM_001256252.1  Endogenous           Hs         NaN        42.0

Я пытаюсь открыть файл, используя numpy.loadtxt и используя следующий код:

with open('datafile1.csv') as f:
    for line in f:
        FH = np.loadtxt(line, delimiter=',', skiprows=1)

print(FH)

но он возвращает эту ошибку:

ValueError: could not convert string to float: 

знаете ли вы, как решить проблему?

вот исходный набор данных:

Name,Accession,Class,Species,Annotation,CF330
,,,,,
A2M,NM_000014.4,Endogenous,Hs,,11495
ACVR1C,NM_145259.2,Endogenous,Hs,,28
ADAM12,NM_003474.5,Endogenous,Hs,,1020
ADGRE1,NM_001256252.1,Endogenous,Hs,,42

Answer 1

In [19]: txt = '''Name,Accession,Class,Species,Annotation,CF330 
    ...: ,,,,, 
    ...: A2M,NM_000014.4,Endogenous,Hs,,11495 
    ...: ACVR1C,NM_145259.2,Endogenous,Hs,,28 
    ...: ADAM12,NM_003474.5,Endogenous,Hs,,1020 
    ...: ADGRE1,NM_001256252.1,Endogenous,Hs,,42'''   

С dtype=None, genfromtxt дает нам структурированный массив:

In [23]: np.genfromtxt(txt.splitlines(), names=True, dtype=None, encoding=None,delimiter=',')        
Out[23]: 
array([('', '', '', '', False,    -1),
       ('A2M', 'NM_000014.4', 'Endogenous', 'Hs', False, 11495),
       ('ACVR1C', 'NM_145259.2', 'Endogenous', 'Hs', False,    28),
       ('ADAM12', 'NM_003474.5', 'Endogenous', 'Hs', False,  1020),
       ('ADGRE1', 'NM_001256252.1', 'Endogenous', 'Hs', False,    42)],
      dtype=[('Name', '<U6'), ('Accession', '<U14'), ('Class', '<U10'), ('Species', '<U2'), ('Annotation', '?'), ('CF330', '<i8')])

В форме данных:

In [26]: pd.DataFrame(_23)                                                                           
Out[26]: 
     Name       Accession       Class Species  Annotation  CF330
0                                                   False     -1
1     A2M     NM_000014.4  Endogenous      Hs       False  11495
2  ACVR1C     NM_145259.2  Endogenous      Hs       False     28
3  ADAM12     NM_003474.5  Endogenous      Hs       False   1020
4  ADGRE1  NM_001256252.1  Endogenous      Hs       False     42

По умолчанию dtype для loadtxt и genfromtxt равно float. Вы получаете ошибки в loadtxt, если в файле есть строки, которые не конвертируются; и nan в genfromtxt. Документация по этим функциям длинная, но ее стоит прочитать, если вы хотите использовать их правильно.

np.loadtxt(
    fname,
    dtype=<class 'float'>,      # DEFAULT DTYPE
    comments='#',
    delimiter=None,
    converters=None,
    skiprows=0,
    usecols=None,
    unpack=False,
    ndmin=0,
    encoding='bytes',
    max_rows=None,
)

Альтернативное использование loadtxt:

In [31]: np.loadtxt(txt.splitlines(), skiprows=1, dtype=str, encoding=None,delimiter=',')            
Out[31]: 
array([['', '', '', '', '', ''],
       ['A2M', 'NM_000014.4', 'Endogenous', 'Hs', '', '11495'],
       ['ACVR1C', 'NM_145259.2', 'Endogenous', 'Hs', '', '28'],
       ['ADAM12', 'NM_003474.5', 'Endogenous', 'Hs', '', '1020'],
       ['ADGRE1', 'NM_001256252.1', 'Endogenous', 'Hs', '', '42']],
      dtype='<U14')
In [32]: np.loadtxt(txt.splitlines(), skiprows=1, dtype=object, encoding=None,delimiter=',')         
Out[32]: 
array([['', '', '', '', '', ''],
       ['A2M', 'NM_000014.4', 'Endogenous', 'Hs', '', '11495'],
       ['ACVR1C', 'NM_145259.2', 'Endogenous', 'Hs', '', '28'],
       ['ADAM12', 'NM_003474.5', 'Endogenous', 'Hs', '', '1020'],
       ['ADGRE1', 'NM_001256252.1', 'Endogenous', 'Hs', '', '42']],
      dtype=object)

Answer 2

Использование dtype=object

Пример:

FH = np.loadtxt('datafile1.csv', delimiter=',', skiprows=1, dtype=object)
print(FH)