Как сгенерировать ключ RSA можно найти в документации по API Google:
http://code.google.com/intl/de-DE/apis/gdata/docs/auth/authsub.html#Registered
# Generate the RSA keys and certificate
openssl req -x509 -nodes -days 365 -newkey rsa:1024 -sha1 -subj \
'/C=US/ST=CA/L=Mountain View/CN=www.example.com' -keyout \
myrsakey.pem -out /tmp/myrsacert.pem
Использование Java keytools очень похоже.
Сначала сгенерируйте пару ключей:
keytool -genkey -alias myrsakey -keyalg RSA -validity 365 \
-dname="CN=US, ST=CA/L=Mountain View, CN=www.example.com" \
-keystore mykeystore.jks
Затем вы можете экспортировать сертификат:
keytool -keystore mykeystore.jks -export -alias myrsakey -rfc -file key.pem
Закрытые ключи AFAIK не могут быть экспортированы напрямую через keytool.