Как подготовить многоуровневый многозначный учебный набор данных в python - PullRequest
Новая
       29

Как подготовить многоуровневый многозначный учебный набор данных в python

1 голос
/ 22 мая 2019

Я новичок в машинном обучении.Мой академический проект включает в себя определение позы человека по данным ускорения и гироскопа.Я застрял в самом начале.Мои данные акселерометра имеют значения x, y, z, а гироскоп также имеет значения x, y, z, которые хранятся в файлах acc.csv и gyro.csv.Я хочу классифицировать положение «стоя», «сидя», «ходьба» и «лежа».Идея состоит в том, чтобы обучить машину, используя некоторый алгоритм ML (контролируемый), а затем бросить новый набор данных acc + gyro, чтобы определить, что предсказывает этот новый набор данных (что субъект делает в настоящее время).Я сталкиваюсь со следующими проблемами -

  1. Построение набора данных для обучения - я думаю, что моя деятельность будет зависеть от переменной, а показания осей и гироскопов будут независимыми.Так что, если мне нравится объединять его в одну матрицу, у каждого элемента матрицы снова есть свой собственный набор значений acc и gyro [что-то вроде main и sub matrix], как я могу это сделать?или есть какая-нибудь альтернативная идея сделать то же самое?
  2. Как я могу взять данные нескольких упражнений с несколькими показаниями в одной тренировочной матрице, я имею в виду 10 данных ходьбы каждый со своим собственным acc (xyz) и гироскопом(xyz) + 10 постоянных данных, каждый со своими собственными acc (xyz) и гироскопом (xyz) + 10 сидячих данных, каждый со своими собственными acc (xyz) и гироскопом (xyz) и т. д.
  3. Каждый файл данныхИмеет различное количество записей и отметку времени, как вывести их на общую платформу.Я знаю, что спрашиваю об очень простых вещах, но это та часть путаницы, которую никто мне четко не объяснил.Я чувствую, что стою перед большой закрытой дверью, внутри происходят очень интересные вещи, в которых я не могу участвовать в этот момент со своими ограниченными знаниями.Мое математическое образование - только уровень средней школы.Пожалуйста, помогите.

Я прошел несколько проектов по распознаванию активности в Github.Но они слишком сложны для такого начинающего, как я. 

import pandas as pd
import os
import warnings 
from sklearn.utils import shuffle
warnings.filterwarnings('ignore')
os.listdir('../input/testtraindata/')

base_train_dir = '../input/testtraindata/Train_Set/'
#Train Data
train_data = pd.DataFrame(columns = ['activity','ax','ay','az','gx','gy','gz'])
train_folders = os.listdir(base_train_dir)

for tf in train_folders:
    files = os.listdir(base_train_dir+tf)
    for f in files:
        df = pd.read_csv(base_train_dir+tf+'/'+f)
        train_data = pd.concat([train_data,df],axis = 0)
train_data = shuffle(train_data)
train_data.reset_index(drop = True,inplace = True)
train_data.head()

Набор данных

Проблема в Train_set

Удивительно, если я уберу последний 'gz' из 

train_data = pd.DataFrame(columns =['activity','ax','ay','az','gx','gy','gz'])

Все работает нормально.

1 Ответ

1 голос
/ 22 мая 2019

У вас есть данные, помеченные? -> положение x, y, z ... = positure?

Я понятия не имею о значениях (так как я не видел набор данных и не имею понятия о позициях, акк или гироскопе), но я предполагаю, что у вас должен быть набор данных в рамках matrise с x, y, z в качестве категорий и целевая категория: «позиции».

Если вам нужно все 6 (3 от одного CSV и 3 от другого), чтобы определить позиции, вы можете сделать 6 категорий + позиции.

Что-то вроде: x_1, y_1 z_1, x_2, y_2 и z_2 + метка позиции (категория «позиция»).

Вы также можете сделать каждую позицию отдельной категорией с 0/1 как true / false. "сидящий", "идущий" и т. д. и имеющий значения 0 и 1 в столбцах.

Имеет ли метка времени какое-либо значение для позиции? Если это не важная особенность, я бы просто отбросил ее. Если это важно каким-то образом, вы можете их поменять.

Вот руководство для начинающих с Medium, в котором вы можете немного увидеть, как обрабатывать ваши данные. Также показано одно горячее кодирование :)

https://medium.com/hugo-ferreiras-blog/dealing-with-categorical-features-in-machine-learning-1bb70f07262d

Также попробуйте прибегнуть к предварительной обработке ваших данных, тогда вы, вероятно, найдете правильный рецепт

...