Используйте SetKeyDelay
(или разделите события вверх и вниз с задержкой между ними), чтобы клавиша удерживалась немного дольше.
;hold down for 50ms
SetKeyDelay, -1, 50
ControlSend, , {F5}, ahk_exe obs64.exe
Кроме того, если вы не нужен hwnd для чего-то другого, нет необходимости его получать. И он должен работать нормально, не обнаруживая скрытых windows.