Вы действительно хотите удалить роли, принадлежащие пользователю?Это означает, что записи ролей будут удалены, что, скорее всего, приведет к исключению, потому что в сценариях «многие ко многим» роли будут использоваться другими пользователями.
Если вы все настроите правильно, это должно просто удалить отношения между пользователем иего роли:
var user = context.Users.Include("Roles").Single(u => u.Id == id);
user.Roles.Clear();
context.SaveChanges();