Родная прорисовка в Apache Spark

Question

Есть ли собственный способ создания графика в Spark SQL (в записной книжке Jupyter)?

Давайте создадим, например, Spark DataFrame с 10k записями и добавим столбец со случайным (обычный) ) числа:

from pyspark.sql import SparkSession
from pyspark.sql.functions import randn

spark = SparkSession.builder.master("local")\
                            .appName("TestPlot")\
                            .getOrCreate()

df = spark.range(10000)
df = df.withColumn('randn', randn(seed=42))

Есть ли собственный способ создания, скажем, гистограммы, без необходимости конвертировать pyspark.sql.dataframe.DataFrame в pandas.core.frame.DataFrame и затем с использованием matplotlib?

import matplotlib.pyplot as plt
%matplotlib inline
df.select('randn').toPandas().hist(bins=42)