Моя команда строит систему обнаружения объектов с использованием CNN. Мы уже завершили этап обучения и делаем следующий шаг для развертывания модели. Основная проблема, с которой мы сейчас сталкиваемся, - это создать обратную связь l oop для нашей системы (из-за требований клиента).
Мы ищем основу для этого. Эта статья: ЗАКРЫТИЕ L OOP: КАК ОБРАТНАЯ СВЯЗЬ ПОМОЩЬ, ЧТОБЫ ОБЕСПЕЧИТЬ КАЧЕСТВО ДОЛГОСРОЧНЫХ РЕЗУЛЬТАТОВ AI дают нам первоначальную идею, но возникли различные вопросы. Я визуализировал основную идею статьи: 
Мой первый вопрос, после предсказания модели, как мы можем определить, какие данные подходят для обучения, какие данные являются неопределенными и нужна человеческая сила для маркировки, и какие данные могут быть автоматически помечены? Насколько я понимаю, данные с низкой обнаруженной вероятностью (возможно, <0,5) не подходят для переподготовки, средняя вероятность (может быть, 0,5-0,8) предназначена для человека, а (вероятность> 0,8) - для автоматической маркировки. Но это кажется противоречащим концепции Active learning , в которой мы определили, что данные, в которых модель является неопределенной, больше всего требуют переобучения, а данные с высокой степенью достоверности следует пропускать. , Кроме того, как можно сбалансировать данные?
Второй вопрос: как мы можем узнать, сколько данных достаточно для запуска переподготовки? Например, если наша модель предварительно обучена на 100000 изображений, то сколько изображений требуется в новом наборе данных для оптимизации процесса переобучения?
Третий вопрос: стабильно ли продолжать добавлять новые изображения? к набору данных? Какой будет риск? Если у нас есть алгоритм, такой как Непрерывное обучение (изучите один раз, а затем удалите данные, используя catastrophi c Забыли ).
По-прежнему было много вопросов например, как эффективно переучить модель? Есть 1 предложение, что мы должны использовать AutoML в непрерывном обучении, но это только 1 вариант? И как мы можем сделать тест на переподготовку? По каким критериям определить, следует ли сохранить обновленную модель или нет? Странно, что было немного ресурсов, связанных с этой концепцией.
Я был бы признателен, если бы вы могли предложить основу для развертывания этой идеи или любую ссылку для более глубокого изучения деталей.