Это гораздо проще, чем гадить с настоящими масками в Photoshop.
Значки панели инструментов iPhone имеют размер около 30 на 30 пикселей, поэтому создайте новый файл Photoshop с этими размерами. Убедитесь, что фон прозрачный (вы можете указать это при создании нового файла).
Затем любые пиксели, которые вы рисуете поверх этой прозрачности, становятся тем, что iOS использует для иконки. Неважно, какого цвета это в Photoshop для значков NSToolbar - они автоматически используются в качестве масок для iOS.
Оставьте прозрачными те части, которые хотите показать. Сохраните как 24-битный PNG и вставьте XCode как обычно.
Для нескольких значков, которые служат хорошим начальным примером, посмотрите те, которые я публикую бесплатно здесь: http://glyphish.com Просто возьмите один из PNG и откройте его в Photoshop, и вы увидите, что он нарисован произвольный цвет (# 444444) с различными уровнями непрозрачности для создания более темных и светлых частей значка.