Если вы хотите оптимизировать нелинейную функцию, а ваша задача состоит из нелинейных ограничений, алгоритмов в Apache Commons Math недостаточно. В настоящее время поддерживаются только нелинейные целевые функции с переменными границами.
Для решения общих проблем НЛП, где известны производные, вы можете вместо этого рассмотреть возможность использования Ipopt через его интерфейс Java.
Если производные не известны, а число переменных относительно невелико (менее 100), вы можете рассмотреть возможность использования порта Java оптимизатора COBYLA2, который доступен здесь .