Не уверен, почему вы хотите / нуждаетесь в .nestedSortable, который я не вижу в документации на сайте jQueryUI.Когда я изменяю его на использование .sortable, он работает правильно.(Используя последний Firefox)
Хорошо, в этом случае вы используете селектор 'ul', в вашем примере нет вложенного элемента UL, но когда вы это делаете, вы фактически вызываете плагинв исходном внешнем списке и снова во внутреннем списке ...
См. рекурсию ... Когда вы используете универсальный селектор с jQuery / jQueryUI, вы выбираете ALL соответствующие элементы ивызывая плагин для внешнего элемента, затем для внутреннего элемента ...