Модель сервировки со склеарном и gRPC

Question

Скажем, у меня есть обученная модель RandomForestClassifier от sklearn. Мы используем gRP C для обслуживания этой модели и предоставления прогнозов в режиме реального времени в ситуации высокого трафика c. Насколько я понимаю, gRP C может поддерживать одновременное выполнение нескольких потоков. Могут ли они все одновременно вызывать метод RF предиката без проблем с параллелизмом? Является ли предвидение sklearn поточно-безопасным?

Если это не так, похоже, вам придется загружать отдельные копии модели в каждом рабочем потоке.

Answer 1

Я ничего не знаю конкретно о sklearn, но в целом gRP C является поточно-ориентированным, и можно делать много одновременных вызовов одного и того же метода.