Я хотел бы взять каждую строку моего кадра данных Spark и обработать данные через микросервис, который возвращает новое значение (список), который я затем могу добавить в качестве нового столбца. Поскольку датафрейм будет обрабатываться одновременно, я подумал о том, чтобы структурировать его как UDF, который затем вызывает микросервис amazon lambda, который будет динамически масштабироваться.
Эта архитектура возможна или была сделана раньше? Если это рекомендуемый подход, как это сделать?