CSV контейнер для чтения - PullRequest
       32

CSV контейнер для чтения

0 голосов
/ 02 сентября 2018

У меня есть папка, полная csvs. Все csvs имеют один столбец каждый. Все они представляют 3 класса из 3 выборок сигналов A, B и C (всего 240/80 на сигнал). Я разрабатываю модель SVM, способную читать все файлы в этой папке. Из-за отсутствия данных. Я думаю о передаче 10000 строк каждого файла в модель. У меня вопрос, как я могу иметь читателя, который может быть похож на следующее?

 signal_data[1][:10000]

Строка выше будет означать файл номер 1, до 10000 строк. Что-то вроде помещения всех моих csvs в список csvs

Так что для сигнальной части я могу сделать что-то вроде этого:

for i in range(len(signal_data)):
coef, freq=pywt.cwt(signal_data[i][:10000], scales, 'morl')
features =np.vstack([features, pca.fit_transform(coef).flatten()])

1 Ответ

0 голосов
/ 03 сентября 2018

Я сделал это, объединив все csv, которые я прочитал, в один, использованный для перечисления функции. Но есть много других способов сделать это. Я думаю, что это немного дольше, но здесь мое решение:

path =r'C:\KingP\myfolder' # use your path
allFiles = glob.glob(path + "/*.csv")
frame = pd.DataFrame()
list_ = []
for file_ in allFiles:
   df = pd.read_csv(file_,index_col=None, header=0)
   list_.append(df)
frame = pd.concat(list_)

Затем транспонировал всю партию и использовал холистическую функцию:

frame= frame.values.T.tolist()
...