В PySpark, как вы подгоните прямую линию к каждой строке данных и добавите градиент к фрейму данных?

Question

У меня есть датафрейм, похожий на:

uniqueKey | Month1 | Month2 | ... | MonthN
a         | 1      | 2      | ... | 3
b         | 3      | 4      | ... | 5

Где каждый ряд уникален. Я хочу разместить прямую линию в каждой строке и добавить значение градиента в конец кадра данных.

Я знаю, как SparkML приспособить OLS ко всему фрейму данных, но этот фрейм данных огромен, и я хотел бы сделать это распределенным способом.