Я использую структурированную потоковую передачу с Kafka.В HDFS хранится около 10 различных моделей ML_Lib.
На основе столбца значения клиента в строке должна быть применена конкретная модель.
Строковые операции с кадрами данных невозможны при структурированной потоковой передаче.Использование цикла for приводит к тому, что код запускается на одной машине и не распараллеливается.
Существует ли групповая операция, а затем фильтрация по группе клиентов и применение конкретной модели.