Мы подробно обсудили нашу постановку проблемы здесь spark sql: Как добиться параллельной обработки фрейма данных на уровне группы, но в каждой группе нам требуется последовательная обработка строк
Посколькубизнес-кейс немного сложен, мы пробуем все возможные варианты с большой искрой данных на этом этапе.
Может кто-нибудь, пожалуйста, помогите понять, если использование Spark UDAFs является возможным подходом для решения вышеупомянутого варианта использования, пожалуйста,.