Мой Mac дома, а я нет, поэтому я не могу протестировать это решение, но как насчет чего-то вроде:
ps -ef | grep [s]creencapture > nul; echo $?
Скобки [] не позволяют grep сопоставлять эту команду grep, в то же время позволяя ей совпадать со всеми другими командами, содержащими «screencapture». (Предполагается, что «screencapture» - это имя процесса, который вы пытаетесь обнаружить.)