Как сказал Марко , ваш мьютекс должен быть назван примерно так:
string.Format(@"Global\{0}", mutexName);
, чтобы появиться в глобальном пространстве имен (видимым для всех вошедших в систему пользователей).Если вам нужно манипулировать мьютексом, созданным сервисом, вам также необходимо указать, кто может им манипулировать:
var users = new SecurityIdentifier(WellKnownSidType.BuiltinUsersSid, null);
var security = new MutexSecurity();
security.AddAccessRule(new MutexAccessRule(users, MutexRights.Synchronize, AccessControlType.Allow));
security.AddAccessRule(new MutexAccessRule(users, MutexRights.Modify, AccessControlType.Allow));
new Mutex(false, name, out createdNew, security);