Обычный подход состоит в том, чтобы преобразовать задачу в итеративную, нелинейную, в которой вы решаете с шагом:
f(x) = x - x^2
df/dx = 1 -2x
Сделайте начальное предположение x0;сделать шаг для дх;решить для DF;вычислите x1 = x0 + dx и f1 = f0 + df и выполняйте итерацию до сходимости.
Вы можете посмотреть на оптимизацию с ограничениями.Читайте о множителях Лагранжа.