Как разработать бэкэнд для приложения Computer Vision

Question

Предположим, у меня есть серия нейронных сетей, которые производят некоторую интерпретацию видеовхода (например, классифицируют объекты и дают оценку позы каждого человека в кадре)

Я хочу создать приложение, которое отображает этовидео, отображая выходные данные сетей на видео - т.е. человек, идущий с рамкой вокруг них с надписью human и их позой (суставы и конечности)

Мой вопрос: чтолучшее место для начала разработки серверной части для такого приложения - при условии, что обработка видео с CNN будет происходить в облаке и будет возвращать выходные данные, которые должны отображаться в почти реальном времени

В частности, чтоплатформу или язык, которые я должен использовать, и если есть какие-то соображения, которые определят, какая реализация является лучшей

Примечание: я ценю, что этот вопрос очень общий, но я просто ищу место дляначать (предположим, у меня нет соответствующей подготовки по разработке программного обеспечения)

Answer 1

Если у вас есть модель обнаружения / калибровки объекта, обученная и способная обнаруживать нужные объекты

Ниже приведен обычный конвейер для обнаружения объекта и сохранения его в виде видео

1. Read the video frames using opencv [You can use moviepy as well]
2. For each  frame : a) Preprocess the frame before sending to the network
                b) Get the output as coordinates
                c) Use opencv to draw the predicted bounding box along with the classified label in the frame
                d) Add the current frame to the new video_writer object of opencv
                e) Finally save it as a video

3. Display the video

Еслимы планируем создать веб-приложение, которое будет принимать видео в качестве входных данных и динамически показывать прогноз в режиме реального времени.

Использовать веб-сокеты для отправки каждого кадра на сервер (как вы сказали, на старшей машине) для обработкиизображение и вернуть изображение в качестве ответа и отобразить на странице

Пожалуйста, пройдите по ссылкам, приведенным ниже, чтобы получить больше информации об этом:

https://software.intel.com/en-us/articles/object-detection-on-drone-videos-using-caffe-framework
https://software.intel.com/en-us/articles/ai-developer-project-part-3-combating-distracted-driver-behavior