Как развернуть искровую AlsModel в микросервис с пружинной загрузкой

Question

Я хочу создать микросервис с использованием пружинной загрузки, который сможет предоставлять рекомендации, сделанные с помощью ранее обученной AlsModel. (совместная фильтрация с Apache Spark MLLIB) AlsModel обучается в совершенно отдельной среде, которая не подходит для производственных случаев. У нас есть методы для передачи файлов или данных, хранящихся в формате hdf, на наш сервисный уровень (в виде файла или передачи данных в базу данных sql). Я знаю, что могу просто сохранить кадры данных о пользователях и элементах, перенести их, а затем самостоятельно рассчитать прогнозы, но я хочу иметь более простое решение, которое хорошо обрабатывает регулярные обновления. На мой взгляд, процесс выглядит следующим образом:

• Поезд модели внутри искрового кластера
• Сохранить модель в файл (формат pmml ??)
• Передача файла в сервисный слой
• Микросервис весенней загрузки просто загружает файл с помощью некоторого фреймворка (который не использует искровые зависимости)
• Наслаждайтесь весенней загрузкой, творив волшебство, делая все проще; -)

Answer 1

Если вы не хотите включать spark lib в приложение весенней загрузки.

Вы можете попробовать mleap .

Развертывание конвейеров и алгоритмов машинного обучения не должно быть трудоемкой или трудоемкой задачей. MLeap позволяет ученым и инженерам данных развертывать конвейеры машинного обучения из Spark и Scikit-learn в переносимый формат и механизм исполнения.

Таким образом, вы можете использовать mleap для чтения модели spark и использовать ее в приложении для весенней загрузки.

Более подробно вы можете увидеть этот проект sagemaker-sparkml-Обслуживание-container . Amazon SageMaker также разработал полностью сервировочную систему на основе Java, основанную на mleap-runtime