Как я помню, в VB.Net есть хитрость, позволяющая разрешить только один экземпляр приложения, так или иначе, это не в C #, я где-то читал об этом.
Вам необходимо отправить сообщение в проект WPF, который должен открыть новый документ, я предлагаю сделать это с помощью WCF, создать службу, которая может отправлять команду приложению WPF, которому нужно открыть документ