Не напрямую, но одним из решений этой проблемы является добавление в уравнение термина, ограничивающего вашу проблему.
У меня нет набора инструментов оптимизации, поэтому я не могу дать вам конкретный пример с использованием fsolve, но вот как я бы это сделал с fminsearch, который имеет ту же проблему.
Но если я хочу ограничить свою проблему положительными решениями
myFun = @(args) abs(sin(args(1)) + cos(args(2))) + (args(1)<0) + (args(2)<0)
fminsearch(myFun, [0, 0])
ans =
0.0000 1.5708
Должен быть способ подобным образом изменить ваше уравнение для решения вашей проблемы.