К сожалению, привязки для SetFilenameFormatting отсутствуют в obs python, чтобы исправить эту проблему, я переключился на библиотеку OBS-WebSocket-py
import obswebsocket
import obswebsocket.requests
client = obswebsocket.obsws("localhost", 4444, "")
client.connect()
client.call(obswebsocket.requests.SetFilenameFormatting(file_name + " - %CCYY-%MM-%DD %hh-%mm-%ss"))
client.disconnect()