Я пишу искровой запрос в кадре данных с 3 столбцами (документ, отдел, dispatch_date), в котором один и тот же документ может быть отправлен несколько раз в несколько отделов. Я пытаюсь получить последнюю отправку для каждого документа и отдела, который его получил.
Я попытался отсортировать кадр данных по дате отправки и получить первые данные отдела и даты, но безрезультатно - spark возвращает первый отдел в алфавитном порядке, независимо от того, получатель последней отправки или нет.