Есть ли способ / способ получить градиент или статистику тренда для столбца в кадре данных?
Например, рассмотрим следующий фрейм данных.
values = [('a',10,0),('a',11,0),('a',12,10),('a',13,50),('a',14,70),('b',20,100),('b',21,80),('b',22,60),('b',23,10),('b',24,10)]
cols = ['name','year_week_number','marks']
df = spark.createDataFrame(values, columns)
Могу ли я получить статистику по тренду или градиенту для отметок для каждого имени за недели, используя Spark?
+-----+------+
|name | trend|
+-----+------+
| a| xx|
| b| yy|
+-----+------+