Походит на некоторую задачу, которая должна быть выполнимой для распознавания образов и архитектур CNN. Я рекомендую ознакомиться с базовым машинным обучением и (сверточной) теорией нейронных сетей, например, по книгам или постам в блогах, чтобы понять , что вы делаете, и уметь определять болевые точки, а не гадать.
Тогда вам нужно иметь много помеченных тренировочных данных для хороших результатов. Сколько у вас чертежей? Что еще более важно, сколько их у вас, где границы уже выделены? Если это не порядка 10 ^ 2 - 10 ^ 3, лучше начните собирать.