Почему бы вместо этого не использовать защищенный HTTP (HTTPS)? Не нужно связываться с ключами, и он зашифрует загрузку для вас.
Проблема с использованием ваших собственных ключей заключается в том, что ключ дешифрования будет в вашем приложении и очень легко доступен для всех, кто хочет расшифровать поток - он никогда не будет настолько безопасным, поскольку приложения Android относительно легко перепроектировать (Proguard запутывание немного поможет)