Протестировав мою реализацию, я смог определить, что в моем случае, когда регистрируются и обратные вызовы onCancelListener и onDismissListener Dialog, onCancel вызывается до onDismiss.
Однако, насколько я могу судить, API Android неясен (опять же) по этому поводу, и я могу только предположить, что это дефект документации API. Кто-нибудь знает, официально ли это где-то задокументировано?