Генерация случайных значений для нормального и равномерного распределений - PullRequest
Новая
       121

Генерация случайных значений для нормального и равномерного распределений

0 голосов
/ 05 августа 2020

Мне нужно протестировать некоторые алгоритмы с помощью Spark MLlib , и я хотел знать, есть ли в Spark решение built-in для генерации случайных двойных значений для нормального или равномерное распределение.

Диапазон Dataframe может быть случайным, от ста до миллионов.

Есть ли эффективный способ сделать это?

1 Ответ

2 голосов
/ 05 августа 2020

С SparkSQL у вас есть Random Data Generation SQL functions, чтобы легко это сделать.

Вы можете генерировать столбцы, заполненные случайными значениями, с равномерным и нормальным распределением.

Это может быть полезно для рандомизированных алгоритмов, прототипирования и тестирования производительности.

В качестве примера: 

import org.apache.spark.sql.functions.{rand, randn}

val dfr = sqlContext.range(0,20) // range can be what you want
val randomValues = dfr.select("id")
                      .withColumn("uniform", rand(10L)) // uniform distribution
                      .withColumn("normal", randn(10L)) // normal distribution

randomValues.show(truncate = false)

вывод 

+---+-------------------+---------------------+
|id |uniform            |normal               |
+---+-------------------+---------------------+
|0  |0.41371264720975787|-0.5877482396744728  |
|1  |0.7311719281896606 |1.5746327759749246   |
|2  |0.9031701155118229 |-2.087434531229601   |
|3  |0.09430205113458567|1.0191385374853092   |
|4  |0.38340505276222947|-0.011306020094829757|
|5  |0.1982919638208397 |-0.256535324205377   |
|6  |0.12714181165849525|-0.31703264334668824 |
|7  |0.7604318153406678 |0.4977629425313746   |
|8  |0.83487085888236   |0.6400381760855594   |
|9  |0.3142596916968412 |-0.6157521958767469  |
|10 |0.12030715258495939|-0.506853671746243   |
|11 |0.12131363910425985|1.4250903895905769   |
|12 |0.4054302479603469 |0.1478840304856363   |
|13 |0.7658961595628857 |1.1431439803376258   |
|14 |0.5460182640666627 |1.4335019327105383   |
|15 |0.44292918521277047|-0.1413699193557902  |
|16 |0.8898784253886249 |0.9657665088756656   |
|17 |0.03650707717266999|-0.5021009082343131  |
|18 |0.5702126663185123 |0.07606123371426597  |
|19 |0.9212238921510436 |-0.3136534458701739  |
+---+-------------------+---------------------+
...