Я недавно довольно много экспериментировал с этим на своем HTC Desire (и это подтвердили несколько телефонов от других производителей).
Сводка следующая: когда экран выключен - кнопки громкости прослушиваются системой только в том случае, если музыка воспроизводится в данный момент.
Даже в этом случае вы не получите события нажатия кнопки громкости в Activity, когда экран выключен - система просто изменяет уровень громкости AudioManager.STREAM_MUSIC, когда играет музыка (и другие соответствующие аудиопотоки в различных ситуациях: тревога, телефонный звонок) - и не делает этого, когда нет музыки / будильника / звонка