Python - Spark - преобразование даты в СДР

Question

Возможно преобразовать элемент RDD в datetime без преобразования RDD в DataFrame?

Я пробую много подходов, но мне не везет ...

data.sortBy(lambda l: to_date(l[-2])).collect()
data.sortBy(lambda l: Date.valueOf(l[-2])).collect()
data.sortBy(lambda l: datetime(l[-2])).collect()

Существует ли способ сделать это?

Спасибо!

Answer 1

sortBy может изменять только порядок элементов в RDD, но не их содержимое.Чтобы фактически получить возвращаемые значения любой из ваших функций преобразования даты и времени, вам придется использовать map вместо:

data.map(lambda l: datetime(l[-2])).collect()