Извините за общий характер этого ответа, но ОП попросил общие темы.
Звучит как полууправляемое обучение и здесь для scikit-learn и здесь для более подробной информации может работать.
Нет помеченных данных для запуска. Ручной процесс запускается для получения некоторых помеченных данных. Вскоре, полу-контролируемые могут начать и взять на себя - с процессом, измеряющим его точность. Соответствие вашей ситуации и хорошее место для начала.
В конце концов у вас может появиться «достаточно» правильно помеченных данных, которые вы сможете исследовать, подбирая классический алгоритм для прогнозирования остатка. «Достаточно» относиться к тому, насколько сложна проблема. Может быть десятки, сотни, тысячи, ...
В зависимости от других деталей вашей ситуации, Обучение усилению может работать. Как вы описали ситуацию, это может не сработать, но в вашей среде могут быть и другие детали, позволяющие использовать это семейство.
Слово предупреждения - машинное обучение и, в частности, полууправляемый, не всегда хорошо работают для каждой проблемы. ,Мера, мера, мера.