Алгоритмы суммирования ML в Spark - PullRequest
0 голосов
/ 05 января 2019

Есть ли API-интерфейсы для создания в стеке ансамблей стека или нужно создавать их с нуля? Я не нашел никаких ресурсов в Интернете по этой теме

1 Ответ

0 голосов
/ 12 февраля 2019

Как сказано в комментарии AKSW, в текущем Apache Spark MLlib есть только две конкретные реализации ансамблевых моделей, которые случайные леса для создания мешков и деревья с градиентным усилением для повышения .

Что касается стековой части, я не думаю, что есть что-то, что вы можете найти в MLlib, вы должны сделать это самостоятельно:

  1. Создайте функцию для генерации конвейера, который будет выполнять укладку, добавив ваших базовых учеников с помощью векторных ассемблеров и окончательного алгоритма укладки
  2. Создайте мета-оценщик, который будет принимать ваши базовые ученики и ваш алгоритм суммирования в качестве параметров

Второй удобный, потому что он может работать со всеми инструментами MLlib как Инструменты настройки

Для второго решения я создал библиотеку, которая содержит метаоценки повышения, суммирования и суммирования: spark-ensemble

Вы можете взять некоторые идеи реализации из этого!

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...