Вот основная идея ...
var sortedSet = $('#sort li').toArray().sort(function(a, b) {
return $(a).data('rating') - $(b).data('rating');
});
Вы выбираете элементы, конвертируете их в правильный массив, а затем сортируете (в качестве примера я использовал функцию сравнения, меняя ее в соответствии с вашими требованиями).
jsFiddle с нижней кнопкой .