Полагаю, вы уже видели эту полезную ссылку:
http://developer.android.com/guide/practices/ui_guidelines/icon_design.html
Все, что вам нужно сделать, - это сохранить разные варианты в разных папках, но с одинаковым именем:
res/drawable-ldpi (36x36)
res/drawable-mdpi (48x48)
res/drawable-hdpi (72x72)
Вы обращаетесь к ним в своем коде через общее имя ресурса, но фактическая используемая версия адаптируется в зависимости от размера экрана используемого вами устройства.