Модель API обнаружения объектов Tensorflow для использования в TensorFlow. js

Question

Я пытаюсь использовать модель обнаружения объектов, созданную с использованием API обнаружения объектов TF, в TensorFlow. js.

Я конвертировал модель, используя:

tenorflowjs_converter --input_format = tf_saved_model inference_graph / save_model inference_graph / web_model

Он конвертируется без каких-либо проблем и загружается в мой javascript код , Теперь я немного не уверен, какими должны быть мои следующие шаги. Я должен перевести Python в JavaScript, но в некоторых областях я не уверен.

С API обнаружения объектов в python есть много шагов; (1) предварительная обработка изображения, такая как преобразование в RGB, numpy изменение формы массива, расширение размеров (у меня есть представление о том, как бы я подошел к нему) и (2) вывод прогона для одной функции изображения, я не уверен, как Я хотел бы go об этом в tenorflow. js.

Я попытался найти некоторую общую информацию о развертывании модели обнаружения объектов в тензорном потоке. js, но я не смог найти много, кроме как с pre модели.

Любая информация об этом топи c будет отличной! Спасибо!

Answer 1

, как указано @ edkeveked , вам потребуется выполнить аналогичную обработку ввода и вывода в JavaScript, как это делается в Python. я не могу точно сказать, что вам нужно будет сделать, так как я не знаком с моделью. тем не менее, вы можете найти пример, используя указанную c модель обнаружения объекта здесь:

https://github.com/vabarbosa/tfjs-model-playground/blob/master/object-detector/demo/object-detector.js

см. также

https://medium.com/codait/bring-machine-learning-to-the-browser-with-tensorflow-js-part-iii-62d2b09b10a3

Answer 2

Вам нужно будет повторить тот же процесс в javascript, прежде чем передать его модели. В js изображение по умолчанию использует канал RGB, поэтому повторное преобразование не требуется.