Для новичка машинное обучение на C ++ будет очень высокой планкой.
Практически все пакеты используют Python для API.Tensorflow позволяет запускать API сеанса в C ++, но вам нужно построить граф на Python.И работа со сборкой тензорного потока будет проблемой.
Достаньте Mask-RCNN из своего github, запустите его на python, поймите это.Убедитесь, что лицензия соответствует вашим потребностям.Затем, предполагая, что ваш проект находится на C ++, освежите связи между C ++ и python.Сделайте так, чтобы ваш C ++ выполнял вызовы к слою Python, который импортирует Mask-RCNN.
Любой другой подход будет создавать значительные препятствия для новичка.