Мне нужно развернуть модель машинного обучения в системе реального времени, и я нашел библиотеку MLeap, которая, кажется, способна предсказать запись менее чем за 1 мс.
Я загрузил модель MLeap в приложение Spark, запустил ее для примерно 5000 записей и записал время для каждого прогноза.
Здесь я нахожу странным то, что первое предсказание занимает ~ 50 мс изатем время уменьшается до тех пор, пока оно не достигнет менее 1 мс для прогноза.
Кто-нибудь знает, почему это происходит?Я ожидал, что время предсказания будет меньше секунды для первого предсказания.
Спасибо