Сборка Apache spark Mllib с зависимостями

Question

Я не хочу запускать искру в кластере. Единственная причина использования искры - использовать MLlib. В двух словах, мне нужно использовать MLlib jar в моем приложении с минимальными зависимостями. В настоящее время мой сосуд для сборки искры составляет около 125 МБ. Есть ли способ минимизировать это?

Answer 1

В зависимости от того, как будет использоваться приложение, вы можете пометить зависимости как предусмотрено, что уменьшит размер вашего фляги, так что развертывание будет быстрее.

Кроме того, вы проверяете, включает ли maven сборка Scala stdlib в jar (sbt assembly по умолчанию включает Scala stdlib)