Алгоритмы шифрования для GSM выполняются в модеме GSM, а не в ОС Android. Алгоритм шифрования, который использует ваш телефон, зависит от вашего оператора и GSM-модема. Вы, вероятно, не сможете выяснить, какой алгоритм он использует в данный момент, поскольку Andorid обменивается данными только с GSM-модемом, используя AT-команды, которые часто скрывают эти детали.
Вот статья об архитектуре GSM.