Как я могу отслеживать прогресс Hadoop ALS? - PullRequest
Новая
       8

Как я могу отслеживать прогресс Hadoop ALS?

0 голосов
/ 16 декабря 2018

Я использую этот фрагмент кода для расчета рекомендаций: 

   SparkSession spark = SparkSession
            .builder()
            .appName("SomeAppName")
            .config("spark.master", "local")
            .getOrCreate();
    JavaRDD<Rating> ratingsRDD = spark
            .read().textFile(args[0]).javaRDD()
            .map(Rating::parseRating);
    Dataset<Row> ratings = spark.createDataFrame(ratingsRDD, Rating.class);
    ALS als = new ALS()
            .setMaxIter(1)
            .setRegParam(0.01)
            .setUserCol("userId")
            .setItemCol("movieId")
            .setRatingCol("rating");
    ALSModel model = als.fit(ratings);
    model.setColdStartStrategy("drop");
    Dataset<Row> rowDataset = model.recommendForAllUsers(50);

Я хочу отслеживать ход итераций, в идеале видеть номер итерации, могу ли я как-нибудь предоставить для этого обратный вызов Java?

...