Я собираю значения одного столбца из отдельного dataFrame и добавляю их в отдельный список, как показано ниже.
first_list_temp = df.select('first_col').collect()
first_list = []
for item in first_list_temp:
first_list.append(item.asDict().get('first_col'))
Вопрос в том, остаются ли элементы списка (first_list
) в том же порядке, что и список PySpark Row
элементов (first_list_temp
), только когда они собираются из фрейма данных spark?