Вам нужно вызвать index для коллекции, передавая подпункт этой коллекции.
var items = $('#imageThumbnails li');
var lastItem = $('#imageThumbnails li:last');
var index = items.index(lastItem);
Если вы находитесь в обработчике функции щелчка, вы можете сделать что-то вроде этого:
var items = $('#imageThumbnails li').click(function() {
var index = items.index(this);
// now that I know where I am, why am I here?
});