Вероятно, класс SystemFormBean не переопределяет equals ().Поэтому, когда вызывается isDuplicateSystemDetail (systemFormBean), он имеет другой объект этого класса в качестве параметра, который отличается от того, который вы создали вручную (по умолчанию Object.equals () сравнивает адреса памяти, которые в вашем случае были бы ложными),
Попробуйте переопределить equals (), чтобы сравнить, например, с фактическими полями SystemFormBean, или переписать выражение «когда» как
systemDao.isDuplicateSystemDetail (Mockito.any (SystemFormBean.class))