Разница в вариантах использования AWS Sagemaker и Databricks?

Question

Я смотрел на Databricks, потому что он интегрируется с сервисами AWS, такими как Kinesis, но мне кажется, что SageMaker является прямым конкурентом Databricks? Мы интенсивно используем AWS, есть ли причина добавлять DataBricks в стек или оды SageMaker выполняют ту же роль?

Answer 1

SageMaker - отличный инструмент для развертывания, он упрощает множество процессов настройки контейнеров, вам нужно всего лишь написать 2-3 строки, чтобы развернуть модель в качестве конечной точки и использовать ее. SageMaker также предоставляет платформу dev (Jupyter Notebook), которая поддерживает разработку на Python и Scala (sparkmagic kernal), и мне удалось установить внешнее ядро ​​scala в ноутбук jupyter. В целом SageMaker предоставляет комплексные услуги ML. Databricks имеет непревзойденную среду для разработки приложений Spark.

Заключение

1. Databricks - лучшая платформа для разработки больших данных (scala, pyspark) (непревзойденная среда ноутбука)

2. SageMaker лучше для развертывания. и если вы не работаете с большими данными, SageMaker - идеальный выбор для работы (ноутбук Jupyter + контейнеры Sklearn + зрелые контейнеры + супер простое развертывание).

3. SageMaker обеспечивает «вывод в реальном времени», очень прост в сборке и развертывании, очень впечатляет. Вы можете проверить официальный SageMaker Github. https://github.com/awslabs/amazon-sagemaker-examples/tree/master/sagemaker-python-sdk/scikit_learn_inference_pipeline