У меня около 60 миллионов записей по 10К продукции, связанной с заказами и данными о доставке. Я работаю над созданием модели линейной регрессии для времени до доставки. Обычно, если бы я делал это с помощью r или python, я бы начал с сегментации продуктов и агрегирования на уровне сегмента, а затем попытался бы построить регрессионную модель для сегмента, чтобы уменьшить количество требуемых моделей и время обучения. , Я новичок в spark ml, и мне интересно, есть ли разумный подход для создания конвейера ml и пробовать обучать модели для всех 10K отдельных продуктов?