Я думаю, что лучшей идеей было бы обучить саму сеть для решения проблемы, вам не понадобится огромная модель для нее. Часть маркировки входного набора данных может быть раздражающей. В противном случае вы могли бы работать исключительно с компьютерным зрением, оставив в стороне нейронные сети, но у вас должна быть хорошая идея для решения проблемы и некоторое хорошее понимание компьютерного зрения.