Я хочу преобразовать файл .csv в массив Numpy

Question

Я хотел бы преобразовать файл mydata.csv в массив Numpy.

У меня есть матричное представление файла mydata.csv (Матрица 14 * 79 со значениями со знаком без имени заголовка.)

-0.094391   -0.086641   0.31659 0.66066 -0.33076    0.02751 …
-0.26169    -0.022418   0.47564 0.39925 -0.22232    0.16129 …
-0.33073    0.026102    0.62409 -0.098799   -0.086641   0.31832 …
-0.22134    0.15488 0.69289 -0.26515    -0.021011   0.47096 …

Я думал, что этот код будет работать для этого случая.

import numpy as np

data = np.genfromtxt('mydata.csv', dtype=float, delimiter=',', names=False) 

, но он не работает.

, и я хотел бы иметь окончательную форму данных Numpy какdata.shape = (14, 79)

Хотя мое сообщение об ошибке выглядит следующим образом ..

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-26-060012d7c568> in <module>
      1 import numpy as np
      2 
----> 3 data = np.genfromtxt('output.csv', dtype=float, delimiter=',', names=False)

~\Anaconda3\envs\tensorflow\lib\site-packages\numpy\lib\npyio.py in genfromtxt(fname, dtype, comments, delimiter, skip_header, skip_footer, converters, missing_values, filling_values, usecols, names, excludelist, deletechars, replace_space, autostrip, case_sensitive, defaultfmt, unpack, usemask, loose, invalid_raise, max_rows, encoding)
   1810                            deletechars=deletechars,
   1811                            case_sensitive=case_sensitive,
-> 1812                            replace_space=replace_space)
   1813     # Make sure the names is a list (for 2.5)
   1814     if names is not None:

~\Anaconda3\envs\tensorflow\lib\site-packages\numpy\lib\_iotools.py in easy_dtype(ndtype, names, defaultfmt, **validationargs)
    934             # Simple dtype: repeat to match the nb of names
    935             if nbtypes == 0:
--> 936                 formats = tuple([ndtype.type] * len(names))
    937                 names = validate(names, defaultfmt=defaultfmt)
    938                 ndtype = np.dtype(list(zip(names, formats)))

TypeError: object of type 'bool' has no len()

Answer 1

Для этого вы сначала создаете список CSV-файлов ( file_names ), которые вы хотите добавить. Затем вы можете экспортировать это в один CSV-файл, изменив Numpy-Array. Это поможет вам двигаться вперед:

import pandas as pd
import numpy as np

combined_csv_files = pd.concat( [ pd.read_csv(f) for f in file_names ])

Теперь, если вы хотите экспортировать эти файлы в один .csv-файл , используйте как:

combined_csv_files.to_csv( "combined_csv.csv", index=False)

Теперь, чтобы получить Numpy Array, вы можете двигаться вперед следующим образом:

data_set = pd.read_csv('combined_csv.csv', header=None)
data_frames = pd.DataFrame(data_set)

required_array = np.array(data_frames.values)
print(required_array)

Здесь вы также можете изменить Numpy Array, используя:

required_array.shape = (100, 14, 79)

Я должен выполнить простой тест cmd , чтобы подтвердить это:

>>> y = np.zeros((2, 3, 4))
>>> y.shape
(2, 3, 4)
>>> y.shape = (3, 8)
>>> y
array([[ 0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  0.,  0.,  0.,  0.,  0.]])

Answer 2

In [347]: txt = """-0.094391   -0.086641   0.31659 0.66066 -0.33076    0.02751 
     ...: -0.26169    -0.022418   0.47564 0.39925 -0.22232    0.16129 
     ...: -0.33073    0.026102    0.62409 -0.098799   -0.086641   0.31832 
     ...: -0.22134    0.15488 0.69289 -0.26515    -0.021011   0.47096""".splitli
     ...: nes()                                                                 
In [348]: txt                                                                   
Out[348]: 
['-0.094391   -0.086641   0.31659 0.66066 -0.33076    0.02751',
 '-0.26169    -0.022418   0.47564 0.39925 -0.22232    0.16129',
 '-0.33073    0.026102    0.62409 -0.098799   -0.086641   0.31832',
 '-0.22134    0.15488 0.69289 -0.26515    -0.021011   0.47096']

In [349]: np.genfromtxt(txt)                                                    
Out[349]: 
array([[-0.094391, -0.086641,  0.31659 ,  0.66066 , -0.33076 ,  0.02751 ],
       [-0.26169 , -0.022418,  0.47564 ,  0.39925 , -0.22232 ,  0.16129 ],
       [-0.33073 ,  0.026102,  0.62409 , -0.098799, -0.086641,  0.31832 ],
       [-0.22134 ,  0.15488 ,  0.69289 , -0.26515 , -0.021011,  0.47096 ]])

False - неправильное значение для names:

In [350]: np.genfromtxt(txt, names=False)                                       
---------------------------------------------------------------------------
...
TypeError: object of type 'bool' has no len()

names=None будет в порядке, но это значение по умолчанию, поэтому оно не требуется.

Похоже, что разделитель - это пробел. Я не вижу запятых. По умолчанию dtype это float.

Answer 3

Попробуйте это:

import pandas as pd
import numpy as np
mydata = pd.read_csv("mydata.csv")
mydata_array = np.array(mydata)

Out:
array([[-0.26169 , -0.022418,  0.47564 ,  0.39925 , -0.22232 ,  0.16129 ],
   [-0.33073 ,  0.026102,  0.62409 , -0.098799, -0.086641,  0.31832 ],
   [-0.22134 ,  0.15488 ,  0.69289 , -0.26515 , -0.021011,  0.47096 ]])