Как вы вводите nonlcon в функцию fmincon MATLAB. Я не могу найти хороший пример синтаксиса.
Посетите эту страницу документации: Примеры нелинейной оптимизации с ограничениями
(Идея состоит в том, что вам нужно создать еще один файл для нелинейных ограничений и указать этот дескриптор функции в качестве аргумента)