Нормализация методом min-max и отклонением от стойки только к определенным столбцам с использованием Python или R - PullRequest
Новая
       9

Нормализация методом min-max и отклонением от стойки только к определенным столбцам с использованием Python или R

0 голосов
/ 26 февраля 2019

У меня есть датафрейм, который имеет 37 переменных и 50000 строк.Существуют как категориальные, так и числовые особенности.Я хотел бы сделать функцию нормализации для некоторых столбцов в кадре данных.

Вот поддельный набор данных: 

diagnosis   gender  area    age weight    score   compactness   class
 447          1     95.88   50  117.66      674.8      80         0
 167          0     109.3   65  118.8       886.3      35.6       2
 444          0     117.5   80  160.85      990        64.2       2
 100          0     88.05   35  94.98       582.7      35.23      1
 227          1     97.45   40  15.51       684.5      70         1

Я хочу сделать нормализацию только к площади, весу, баллу, компактности, например.Как я должен это делать?Кстати, я нашел метод отклонения от здесь , но он предназначен для нормализации всего набора данных и кода: 

# identify outliers with standard deviation
from numpy.random import seed
from numpy.random import randn
from numpy import mean
from numpy import std

# calculate summary statistics
data_mean, data_std = mean(data), std(data)
# identify outliers
cut_off = data_std * 3
lower, upper = data_mean - cut_off, data_mean + cut_off
# identify outliers
outliers = [x for x in data if x < lower or x > upper]
print('Identified outliers: %d' % len(outliers))
# remove outliers
outliers_removed = [x for x in data if x >= lower and x <= upper]
print('Non-outlier observations: %d' % len(outliers_removed))

Мой вопрос заключается в том, как выполнить нормализацию только для некоторых столбцовв кадре данных?Заранее спасибо за помощь!

1 Ответ

0 голосов
/ 26 февраля 2019

У меня фактически есть письменная функция для автоматической нормализации, которую я использую.Это следующее: 

n <-function(x){
  d=dim(x)
  c=colMeans(x)
  xm=sapply(1:d[2],function(i){
    x[,i]=x[,i]-c[i]
  })
  # xm is the x with removed means
  v=var(xm) # variance matrix
  xn=sapply(1:d[2],function(i){
    xm[,i]=xm[,i]/sqrt(v[i,i])
  })
  xn
}

Затем просто примените эту функцию к нужным столбцам. 

tochange=c("age","weight","score")
df[,tochange]=n(df[,tochange])
> df
     diagnosis gender   area        age     weight      score
[1,]       447      1  95.88 -0.2161373  0.3000106 -0.5282662
[2,]       167      0 109.30  0.5943775  0.3212536  0.7290858
[3,]       444      0 117.50  1.4048924  1.1048216  1.3455747
[4,]       100      0  88.05 -1.0266521 -0.1226130 -1.0757939
[5,]       227      1  97.45 -0.7564805 -1.6034728 -0.4706004
     compactness class
[1,]       80.00     0
[2,]       35.60     2
[3,]       64.20     2
[4,]       35.23     1
[5,]       70.00     1
...