Как удалить фиктивную переменную ловушку с OneHotencoding - PullRequest
Новая
       22

Как удалить фиктивную переменную ловушку с OneHotencoding

0 голосов
/ 16 мая 2018

Вот мой код для извлечения и преобразования данных CSV: 

Schema schema = new Schema.Builder()
            .addColumnsString("RowNumber")
            .addColumnInteger("CustomerId")
            .addColumnString("Surname")
            .addColumnInteger("CreditScore")
            .addColumnCategorical("Geography",Arrays.asList("France","Spain","Germany"))
            .addColumnCategorical("Gender",Arrays.asList("Male","Female"))
            .addColumnsInteger("Age","Tenure","Balance","NumOfProducts","HasCrCard","IsActiveMember","EstimatedSalary","Exited").build();
    TransformProcess transformProcess = new TransformProcess.Builder(schema)
                                            .removeColumns("RowNumber","Surname","CustomerId")
                                            .categoricalToInteger("Gender")
                                            .categoricalToOneHot("Geography").build();
    RecordReader reader = new CSVRecordReader(1,',');
    reader.initialize(new FileSplit(new ClassPathResource("Churn_Modelling.csv").getFile()));
    TransformProcessRecordReader transformProcessRecordReader = new TransformProcessRecordReader(reader,transformProcess);
    System.out.println("args = " + transformProcessRecordReader.next() + "");

Я только что попытался напечатать первую запись:

args = [619, 1, 0, 0, 1, 42, 2, 0, 1, 1, 1, 101348.88, 1]

Например, три значения, за которыми следует 619 -> 1, 0, 0, я хотел бы оставить 619затем 0, 0.

В основном я хотел бы сохранить первую категорию в качестве базовой категории, а другие предсказываются из базовой категории, чтобы избежать любых мультиколлинеарных отношений (фиктивная переменная ловушка)

Как я могу это сделать?Может кто-нибудь советовать по этому поводу?

1 Ответ

0 голосов
/ 16 мая 2018

Вы можете проверить окончательную схему преобразования с помощью transformProcess.finalSchema и удалить соответствующий 2-й столбец с помощью 

TransformProcess transformProcess = ... same as before...
        .categoricalToOneHot("Geography")
        .removeColumns("Geography[France]")
        .build()
...