Функции i / p col должны быть либо строковыми, либо числовыми c, но должны иметь орг. apache .spark.ml.linalg.VectorUDT. - PullRequest
Новая
       76

Функции i / p col должны быть либо строковыми, либо числовыми c, но должны иметь орг. apache .spark.ml.linalg.VectorUDT.

0 голосов
/ 24 января 2020

Я очень новичок в Spark Machine Learning, только 3-дневный новичок, и я в основном пытаюсь предсказать некоторые данные, используя Logisti c Алгоритм регрессии в искре через Java. Я ссылался на несколько сайтов и документации и придумал код, и я пытаюсь выполнить его, но столкнулся с проблемой. Итак, я предварительно обработал данные и использовал векторный ассемблер, чтобы объединить все соответствующие столбцы в один, и я пытаюсь подогнать модель и столкнуться с проблемой. 

public class Sparkdemo {

static SparkSession session = SparkSession.builder().appName("spark_demo")
        .master("local[*]").getOrCreate();

@SuppressWarnings("empty-statement")
public static void getData() {
    Dataset<Row> inputFile = session.read()
            .option("header", true)
            .format("csv")
            .option("inferschema", true)
            .csv("C:\\Users\\WildJasmine\\Downloads\\NKI_cleaned.csv");
    inputFile.show();
    String[] columns = inputFile.columns();
    int beg = 16, end = columns.length - 1;
    String[] featuresToDrop = new String[end - beg + 1];
    System.arraycopy(columns, beg, featuresToDrop, 0, featuresToDrop.length);
    System.out.println("rows are\n " + Arrays.toString(featuresToDrop));
    Dataset<Row> dataSubset = inputFile.drop(featuresToDrop);
    String[] arr = {"Patient", "ID", "eventdeath"};
    Dataset<Row> X = dataSubset.drop(arr);
    X.show();
    Dataset<Row> y = dataSubset.select("eventdeath");
    y.show();

    //Vector Assembler concept for merging all the cols into a single col
    VectorAssembler assembler = new VectorAssembler()
            .setInputCols(X.columns())
            .setOutputCol("features");

    Dataset<Row> dataset = assembler.transform(X);
    dataset.show();

    StringIndexer labelSplit = new StringIndexer().setInputCol("features").setOutputCol("label");
    Dataset<Row> data = labelSplit.fit(dataset)
            .transform(dataset);
    data.show();

    Dataset<Row>[] splitsX = data.randomSplit(new double[]{0.8, 0.2}, 42);
    Dataset<Row> trainingX = splitsX[0];
    Dataset<Row> testX = splitsX[1];

    LogisticRegression lr = new LogisticRegression()
            .setMaxIter(10)
            .setRegParam(0.3)
            .setElasticNetParam(0.8);

    LogisticRegressionModel lrModel = lr.fit(trainingX);
    Dataset<Row> prediction = lrModel.transform(testX);
    prediction.show();

}

public static void main(String[] args) {
    getData();

}}

Ниже изображение - мой набор данных,

набор данных

Сообщение об ошибке: 

Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: The input column features must be either string type or numeric type, but got org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7.
at scala.Predef$.require(Predef.scala:224)
at org.apache.spark.ml.feature.StringIndexerBase$class.validateAndTransformSchema(StringIndexer.scala:86)
at org.apache.spark.ml.feature.StringIndexer.validateAndTransformSchema(StringIndexer.scala:109)
at org.apache.spark.ml.feature.StringIndexer.transformSchema(StringIndexer.scala:152)
at org.apache.spark.ml.PipelineStage.transformSchema(Pipeline.scala:74)
at org.apache.spark.ml.feature.StringIndexer.fit(StringIndexer.scala:135)

Мой конечный результат - мне нужно прогнозируемое значение с использованием столбца функций.

Заранее спасибо.

1 Ответ

0 голосов
/ 24 января 2020

Эта ошибка возникает, когда полем ввода вашего фрейма данных, для которого вы хотите применить преобразование StringIndexer, является вектор. В документации Spark https://spark.apache.org/docs/latest/ml-features#stringindexer видно, что входной столбец является строкой. Этот преобразователь выполняет отдельный для этого столбца и создает новый столбец с целыми числами, которые соответствуют каждому другому значению строки. Это не работает для векторов.

...