Нашел эту статью, потому что remove-item не работал.
Это не совсем «истинный» powershell, но я использую этот метод:
certutil -delstore my "5314bdfa0255be36e53e749d033"
Вы можете получить отпечаток большого пальца через cert: \ LocalMachine \ my или через certutil. В моем случае у меня есть несколько сертификатов с одинаковым именем, поэтому мне больше нравится вышеуказанный метод, потому что он дает мне конкретную цель при удалении сертификата.