Если файл PEM содержит закрытый ключ, из него можно вычислить открытый ключ, так что действительно возможно зашифровать текст, а затем расшифровать его снова с помощью этого файла PEM.
PEM не поддерживается платформой c #, но сторонние библиотеки, такие как BouncyCastle, могут помочь вам: http://www.bouncycastle.org/csharp/