R: очистка выбросов для каждого столбца в кадре данных с использованием квантилей 0,05 и 0,95 - PullRequest
Новая
       56

R: очистка выбросов для каждого столбца в кадре данных с использованием квантилей 0,05 и 0,95

3 голосов
/ 12 марта 2011

Я R-новичок. Я хочу провести некоторую очистку и масштабирование от 0 до 1, прежде чем поместить образец в случайный лес. 

g<-c(1000,60,50,60,50,40,50,60,70,60,40,70,50,60,50,70,10)

Если я сделаю простое масштабирование от 0 до 1, результат будет: 

> round((g - min(g))/abs(max(g) - min(g)),1)

 [1] 1.0 0.1 0.0 0.1 0.0 0.0 0.0 0.1 0.1 0.1 0.0 0.1 0.0 0.1 0.0 0.1 0.0

Таким образом, моя идея состоит в том, чтобы заменить значения каждого столбца, которые больше, чем квантиль 0,95, следующим значением, меньшим, чем квантиль 0,95, и то же самое для квантиля 0,05.

Таким образом, предварительно масштабированный результат будет: 

g<-c(**70**,60,50,60,50,40,50,60,70,60,40,70,50,60,50,70,**40**)

и в масштабе: 

> round((g - min(g))/abs(max(g) - min(g)),1)

 [1] 1.0 0.7 0.3 0.7 0.3 0.0 0.3 0.7 1.0 0.7 0.0 1.0 0.3 0.7 0.3 1.0 0.0

Мне нужна эта формула для всего фрейма данных, поэтому функциональная реализация в R должна выглядеть примерно так: 

> apply(c, 2, function(x) x[x`<quantile(x, 0.95)]`<-max(x[x, ... max without the quantile(x, 0.95))

Может кто-нибудь помочь?

Говорят рядом: если существует функция, которая выполняет эту работу напрямую, пожалуйста, дайте мне знать. Я уже проверил cut и cut2. cut терпит неудачу из-за неуникальных разрывов; cut2 будет работать, но возвращает только строковые значения или среднее значение, и мне нужен числовой вектор от 0 до 1.

для ознакомления: 

a<-c(100,6,5,6,5,4,5,6,7,6,4,7,5,6,5,7,1)

b<-c(1000,60,50,60,50,40,50,60,70,60,40,70,50,60,50,70,10)

c<-cbind(a,b)

c<-as.data.frame(c)

С уважением и благодарностью за помощь,

Rainer

Ответы [ 2 ]

10 голосов
/ 12 марта 2011

Пожалуйста, не делай этого. Это не очень хорошая стратегия для борьбы с выбросами, особенно потому, что маловероятно, что 10% ваших данных являются выбросами!

3 голосов
/ 12 марта 2011

Я не могу представить себе функцию в R, которая делает это, но вы можете определить маленькую функцию самостоятельно: 

foo <- function(x)
{
    quant <- quantile(x,c(0.05,0.95))
    x[x < quant[1]] <- min(x[x >= quant[1]])
    x[x > quant[2]] <- max(x[x <= quant[2]])
    return(round((x - min(x))/abs(max(x) - min(x)),1))
}

Затем sapply это для каждой переменной в вашем фрейме данных: 

sapply(c,foo)
       a   b
 [1,] 1.0 1.0
 [2,] 0.7 0.7
 [3,] 0.3 0.3
 [4,] 0.7 0.7
 [5,] 0.3 0.3
 [6,] 0.0 0.0
 [7,] 0.3 0.3
 [8,] 0.7 0.7
 [9,] 1.0 1.0
[10,] 0.7 0.7
[11,] 0.0 0.0
[12,] 1.0 1.0
[13,] 0.3 0.3
[14,] 0.7 0.7
[15,] 0.3 0.3
[16,] 1.0 1.0
[17,] 0.0 0.0

Редактировать: Этот ответ предназначался для решения проблемы программирования.В отношении фактического использования я полностью согласен с Хэдли

...