У меня есть конвейер Spark ML, который мне нужно развернуть как сериализованную модель MLeap.
Модель работает нормально, но наряду с прогнозом я также хочу вывести второе поле - ошибку в прогнозе.
Ошибка предварительно вычисляется и сохраняется в CSV (это не модель). CSV имеет те же входные параметры, что и модель, а также поле ошибки.
Как я могу это сделать? Есть ли в Spark ML этап конвейера "CSVLookup" или "TableLookup", куда я могу отправить CSV, и он может искать значение на основе некоторых входных параметров в режиме реального времени и сериализовать в пакет MLeap?