AFAIK не существует способа напрямую добавлять дополнительные случаи в перечисление. Документация относится к добавлению, например, для вычисленные свойства и функции для существующего перечисления.
Лучше всего было бы расширить UIModalTransitionStyle несколькими случаями с помощью метода, описанного в этого ответа .