Ваш синтаксис правильный, но я не думаю, что у вашей системы уравнений есть решение. Когда я проталкивал их через Mathematica, он возвращал пустой список, который обычно указывает на то, что решения не существует.
Версия MATLAB, которую вы используете, использует MuPad в качестве движка символьных вычислений, но они использовали для Maple. У меня есть самая последняя версия набора символов для Maple, и когда я добавляю в него ваше выражение, я получаю
Warning: Explicit solution could not be found.
In solve at 140
ans =
[ empty sym ]
Так что я хотел бы предположить, что не существует решения этой системы уравнений, и новый символический движок Mupad просто не очень элегантно обрабатывает этот факт.
Обновление: Попытка решить эту проблему численно в Mathematica приводит к жалобам на единичный якобиан независимо от того, какие начальные значения я выберу. Я просто не знаю, как доказать, что ваши уравнения не имеют решения, но я сильно подозреваю, что это так.