Полагаю, вы испортили свой открытый ключ ssh.Если я не ошибаюсь, создайте его как PEM:
openssl rsa -in <your ssh private key> -pubout -out X.pub.pem
, а затем закодируйте ваше сообщение с помощью этого открытого ключа:
openssl rsautl -in message.txt -out encmessage.txt -pubin -inkey X.pub.pem -encrypt