Извлечение значений столбца и сохранение его в массиве

Question

Мне нужно собрать значения столбцов и сохранить их в виде массива из фрейма данных spark. Так же, как мы делаем с фреймом данных панд, используя .values функцию

Я пытался использовать .select().collect(), однако он дает мне пустые строки

X = XVAr.values
Y = DF.loc[:,'LTR'].values

вышесказанное сделано для pandas dataframe, мне нужно сделать то же самое в spark dataframe

Ожидаю вывод в виде массива [[5,6,4,3],[3,4,6,5]]

Answer 1

Трудно сказать без данных образца.Но ваше решение должно работать,

arr = numpy.array(df.select('LTR').collect())