Когда вы инициализируете диктофон следующим способом
- (id)initWithURL:(NSURL *)url settings:(NSDictionary *)settings error:(NSError **)outError
Вы указываете настройку, которая является словарём.
Вы можете указать формат с помощью описанной клавиши «AVFormatIDKey» здесь
Для различных доступных форматов перейдите в раздел «Основные типы аудиоданных» в разделе «Константы» этой ссылки
Короче говоря, вы можете сделать что-то вроде этого.
NSMutableDictionary *recordSetting = [[NSMutableDictionary alloc] init];
[recordSetting setValue:[NSNumber numberWithInt:kAudioFormatMPEGLayer3] forKey:AVFormatIDKey]; // for mp3
А затем укажите этот набор записей в методе init.