Да, это безопасно (при условии, что вы были осторожны и не внесли каких-либо серьезных изменений), но вот совет, который я извлек из горького опыта: не делайте резервную копию старой версии в той же папке. Даже если вы переименуете что-то вроде Example.dll0, это все равно может запутать фреймворк.
Кроме того, это перезапустит приложение.