finally предназначено для выполнения независимо от того, происходит ли исключение, точка.
Этого нельзя избежать, кроме как прибегнуть к сомнительной тактике (как сказал там Иоахим).
Если код, который вы имеете в блоке finally, не предназначен для выполнения каждый раз, не используйте конструкцию finally; Вместо этого используйте простую конструкцию if