Если мой ответ здесь (включая последующие комментарии) правильный, то вам может понадобиться добавить ViewBinder к SimpleAdapter.Вы можете поискать примеры реализации ViewBinder в Google - это не кажется слишком сложным.
РЕДАКТИРОВАТЬ: вам нужен ViewBinder, по крайней мере, для некоторых более ранних версий AndroidOS (я нашелэто не нужно для 2.2).См. другой ответ и, возможно, также мой блог об этом.