Дело в том, что AudioQueue использует тот же бэкэнд, что и AudioConverter, хотя в AudioQueueProperty enom нет ключа для bitRate, вы все равно можете позаимствовать их у конвертера.Получите битрейт следующим образом:
AudioQueueGetProperty(mQueue, kAudioConverterEncodeBitRate, &bitRate, &propertySize);
и установите его так:
AudioQueueSetProperty(mQueue, kAudioConverterEncodeBitRate, &bitRate, propertySize);