Совместное обучение возможно в ml5. js или Tensorflow. js?

Question

Я хотел бы создать классификатор изображений с помощью ml5. js или Tensorflow. js. Я хочу, чтобы пользователь мог добавлять свои собственные ярлыки, ie. обучить модель. Учебник Дэниела Шиффмана по трансферному обучению отлично подходит для этого: https://www.youtube.com/watch?v=kRpZ5OqUY6Y

Однако я бы хотел, чтобы несколько пользователей могли обучать одну и ту же модель. Люди будут вносить свой вклад в ту же модель, используя свои собственные классификации. из собственных браузеров. Отображаемые изображения, вероятно, будут взяты из файла JSON.

Я тестировал Socket.io для совместного рисования мышью с помощью p5. js, но это в основном весь мой соответствующий опыт в подобных приложениях для совместной работы. Итак: возможно ли, чтобы несколько пользователей обучили одну и ту же модель ml5.js / Tensorflow. js с помощью Socket.io или чего-то подобного?

Теплое спасибо за любой совет!

Answer 1

Однажды я использовал Together JS из Mozilla, чтобы просто совместно добавить в набор обучающих данных в любом количестве браузеров. Но каждый экземпляр должен был запустить tf.fit в расширенном наборе данных. Федеративное обучение будет следующим шагом, чтобы избежать всех этих избыточных вычислений.

Answer 2

Возможно, вам для этого не нужна совместная работа в реальном времени? Пользователи могут предоставлять изображения и метки из своих браузеров и нажимать кнопку upload.

В клиенте может быть кнопка train, которая сообщает серверу, что нужно снова начать обучение. Модель находится только на сервере, поэтому каждый может внести в нее свой вклад.

Пока сервер обучается и получает новую команду train, он просто отправит сообщение already in training process.

Таким образом, socket.io вам не понадобится ...