У меня есть модель обнаружения объектов Tensorflow, развернутая на ML Engine облачной платформы Google.Я встречал сообщений , предлагающих Tensorflow Serving + Docker для лучшей производительности.Я новичок в Tensorflow и хочу знать, как лучше всего делать прогнозы.В настоящее время онлайн-прогнозы ML Engine имеют задержку> 50 секунд.Мой пример использования: пользователь загружает картинки с помощью мобильного приложения и получает подходящий ответ на основе результата прогноза.Итак, я ожидаю, что задержка прогнозирования снизится до 2-3 секунд.Что еще я могу сделать, чтобы сделать прогнозы быстрее?