Окно не закрывается, потому что вызов приложения напрямую скажет пакетному выполнению дождаться закрытия приложения перед запуском следующей строки. Вместо этого используйте Start . Таким образом, ваша партия будет:
@echo off
cd C:\Program Files\obs-studio\bin\64bit
start "" "C:\Program Files\obs-studio\bin\64bit\obs64.exe" --collection Replay, --profile Replay, --scene Scene, --startreplaybuffer --minimize-to-tray
Выход излишен, так как после конечной линии он все равно должен закрыться. Кстати, если вы просто хотите создать что-то, чтобы щелкнуть / вызвать для запуска OB studio с этими параметрами, достаточно использовать ярлык (поместите C: \ Program Files \ obs-studio \ bin \ 64bit в Start In и напишите вся команда и параметры на Target)