Как создать матрицу индексированных строк в Scala Spark, которая является случайной для заданных измерений

Question

Я хочу создать матрицу индексированных строк в Scala - Spark, которая имеет случайные значения в векторе. Я был в состоянии создать локальный массив, используя код ниже, но он портит большие размеры -

import org.apache.spark.mllib.random.RandomRDDs._
import scala.util.Random
var r = scala.util.Random

var populationSize   = 15
var chromosomeLength = 4

var randomPopulation = Array.fill(populationSize,chromosomeLength{r.nextFloat}

Это должно дать что-то вроде этого

 [1, [random vector of length 4]
  2 , [random vector of length 4] ....15 [random vector of length 4] ]

Матрица индексированных строк.

Answer 1

Простой и простой

import org.apache.spark.mllib.random.RandomRDDs
import org.apache.spark.mllib.linalg.distributed.{IndexedRowMatrix, IndexedRow}

new IndexedRowMatrix(
  RandomRDDs.uniformVectorRDD(sc, populationSize, chromosomeLength)
    .zipWithIndex.map { case (v, i) => IndexedRow(i, v) }
)

, где sc является экземпляром SparkContext или