перекошенное распределение меток: Перемешать RDD [Row] так, чтобы все разделы имели одинаковое соотношение меток - PullRequest
0 голосов
/ 25 апреля 2019

Как я могу перетасовать СДР так, чтобы все разделы результирующего СДР имели одинаковое распределение метки класса?

У меня есть СДР [Строка], так что строки сортируются на основе классаметки (-1 и +1) в 4 разделах.Следовательно, первый и второй разделы включают записи, принадлежавшие метке первого класса (-1), а третий и четвертый разделы включают записи, принадлежавшие метке второго класса (+1).Я хочу перетасовать СДР недорогим способом, чтобы все разделы имели 25% метки первого класса и 25% метки второго класса.

...