Смешивание двух файлов вместе с помощью расширенных файловых сервисов аудио - PullRequest
Новая
       95

Смешивание двух файлов вместе с помощью расширенных файловых сервисов аудио

1 голос
/ 12 ноября 2010

Я делаю некоторую пользовательскую постобработку аудио с использованием аудиоустройств.У меня есть два файла, которые я объединяю (ссылки ниже), но в выводе появляются странные шумы.Что я делаю не так?

Я проверил, что перед этим шагом 2 файла (workTrack1 и workTrack2) находятся в надлежащем состоянии и звучат хорошо.В этом процессе также нет ошибок.

Код обработки буфера : 

- (BOOL)mixBuffersWithBuffer1:(const int16_t *)buffer1 buffer2:(const int16_t *)buffer2 outBuffer:(int16_t *)mixbuffer outBufferNumSamples:(int)mixbufferNumSamples {
    BOOL clipping = NO;

    for (int i = 0 ; i < mixbufferNumSamples; i++) {
        int32_t s1 = buffer1[i];
        int32_t s2 = buffer2[i];
        int32_t mixed = s1 + s2;

        if ((mixed < -32768) || (mixed > 32767)) {
            clipping = YES; // don't break here because we dont want to lose data, only to warn the user
        }

        mixbuffer[i] = (int16_t) mixed;
    }
    return clipping;
}

Код микширования : 

////////////////////////////////////////////////////////////////////////////////////////////////////////////////
////////////////////////////////////////////////////////////////////////////////////////////////////////////////
/////////////////////////////////////////////      PHASE 4      ////////////////////////////////////////////////
////////////////////////////////////////////////////////////////////////////////////////////////////////////////
////////////////////////////////////////////////////////////////////////////////////////////////////////////////
// In phase 4, open workTrack1 and workTrack2 for reading,
// mix together, and write out to outfile.

// open the outfile for writing -- this will erase the infile if they are the same, but its ok cause we are done with it
err = [self openExtAudioFileForWriting:outPath audioFileRefPtr:&outputAudioFileRef numChannels:numChannels];
if (err) { [self cleanupInBuffer1:inBuffer1 inBuffer2:inBuffer2 outBuffer:outBuffer err:err]; return NO; }

// setup vars
framesRead = 0;
totalFrames = [self totalFrames:mixAudioFile1Ref]; // the long one.
NSLog(@"Mix-down phase, %d frames (%0.2f secs)", totalFrames, totalFrames / RECORD_SAMPLES_PER_SECOND);

moreToProcess = YES;
while (moreToProcess) {

    conversionBuffer1.mBuffers[0].mDataByteSize = LOOPER_BUFFER_SIZE;
    conversionBuffer2.mBuffers[0].mDataByteSize = LOOPER_BUFFER_SIZE;

    UInt32 frameCount1 = framesInBuffer;
    UInt32 frameCount2 = framesInBuffer;

    // Read a buffer of input samples up to AND INCLUDING totalFrames
    int numFramesRemaining = totalFrames - framesRead; // Todo see if we are off by 1 here.  Might have to add 1
    if (numFramesRemaining == 0) {
        moreToProcess = NO; // If no frames are to be read, then this phase is finished

    } else {
        if (numFramesRemaining < frameCount1) { // see if we are near the end
            frameCount1 = numFramesRemaining;
            frameCount2 = numFramesRemaining;
            conversionBuffer1.mBuffers[0].mDataByteSize = (frameCount1 * bytesPerFrame);
            conversionBuffer2.mBuffers[0].mDataByteSize = (frameCount2 * bytesPerFrame);
        }

        NSbugLog(@"Attempting to read %d frames from mixAudioFile1Ref", (int)frameCount1);
        err = ExtAudioFileRead(mixAudioFile1Ref, &frameCount1, &conversionBuffer1);
        if (err) { [self cleanupInBuffer1:inBuffer1 inBuffer2:inBuffer2 outBuffer:outBuffer err:err]; return NO; }

        NSLog(@"Attempting to read %d frames from mixAudioFile2Ref", (int)frameCount2);
        err = ExtAudioFileRead(mixAudioFile2Ref, &frameCount2, &conversionBuffer2);
        if (err) { [self cleanupInBuffer1:inBuffer1 inBuffer2:inBuffer2 outBuffer:outBuffer err:err]; return NO; }

        NSLog(@"Read %d frames from mixAudioFile1Ref in mix-down phase", (int)frameCount1);
        NSLog(@"Read %d frames from mixAudioFile2Ref in mix-down phase", (int)frameCount2);

        // If no frames were returned, phase is finished
        if (frameCount1 == 0) {
            moreToProcess = NO;

        } else { // Process pcm data

            // if buffer2 was not filled, fill with zeros
            if (frameCount2 < frameCount1) {
                bzero(inBuffer2 + frameCount2, (frameCount1 - frameCount2));
                frameCount2 = frameCount1;
            }

            const int numSamples = (frameCount1 * bytesPerFrame) / sizeof(int16_t);

            if ([self mixBuffersWithBuffer1:(const int16_t *)inBuffer1
                                    buffer2:(const int16_t *)inBuffer2
                                  outBuffer:(int16_t *)outBuffer
                        outBufferNumSamples:numSamples]) {
                NSLog(@"Clipping");
            }
            // Write pcm data to the main output file
            conversionOutBuffer.mBuffers[0].mDataByteSize = (frameCount1 * bytesPerFrame);
            err = ExtAudioFileWrite(outputAudioFileRef, frameCount1, &conversionOutBuffer);

            framesRead += frameCount1;
        } // frame count
    } // else

    if (err) {
        moreToProcess = NO;
    }
} // while moreToProcess

// Check for errors
TTDASSERT(framesRead == totalFrames);
if (err) {
    if (error) *error = [NSError errorWithDomain:kUAAudioSelfCrossFaderErrorDomain
                                            code:UAAudioSelfCrossFaderErrorTypeMixDown
                                        userInfo:[NSDictionary dictionaryWithObjectsAndKeys:[NSNumber numberWithInt:err],@"Underlying Error Code",[self commonExtAudioResultCode:err],@"Underlying Error Name",nil]];
    [self cleanupInBuffer1:inBuffer1 inBuffer2:inBuffer2 outBuffer:outBuffer err:err];
    return NO;
}
NSLog(@"Done with mix-down phase");

Предположения

  • mixAudioFile1Ref всегда длиннее mixAudioFile2Ref
  • После того, как у mixAudioFile2Ref кончаются байты, outputAudioFileRef должен звучать точното же самое, что и mixAudioFile2Ref

Предполагается, что ожидаемый звук должен смешивать постепенное увеличение с постепенным исчезновением в начале, чтобы создать самопереходное затухание при зацикливании дорожки.Пожалуйста, прослушайте вывод, посмотрите на код и дайте мне знать, где я ошибаюсь.

Исходный тональный звук : http://cl.ly/2g2F2A3k1r3S36210V23
Результирующий тональный звук: http://cl.ly/3q2w3S3Y0x0M3i2a1W3v

Ответы [ 2 ]

1 голос
/ 12 ноября 2010

Оказывается, здесь было две проблемы.

Код обработки буфера

int32_t mixed = s1 + s2; вызывал ограничение.Лучший способ - разделить на количество микшированных каналов: int32_t mixed = (s1 + s2)/2;, а затем нормализовать в следующем проходе.

Кадры! = Байты При обнулении буферов второй дорожки при запуске звукаЯ неправильно установил смещение и длительность в виде кадров, а не байтов.Это создавало мусор в буфере и создавало шум, который вы периодически слышите.Легко исправить: 

if (frameCount2 < frameCount1) {
    bzero(inBuffer2 + (frameCount2 * bytesPerFrame), (frameCount1 - frameCount2) * bytesPerFrame);
    frameCount2 = frameCount1;
}

Теперь образец великолепен: http://cl.ly/1E2q1L441s2b3e2X2z0J

0 голосов
/ 12 ноября 2010

Ваш опубликованный ответ выглядит хорошо;Я вижу только одну незначительную проблему.Ваше решение для отсечения, деления на два, поможет, но оно также эквивалентно уменьшению усиления на 50%.То есть не - это то же самое, что нормализация; нормализация - это процесс просмотра всего аудиофайла, нахождения наибольшего пика и применения заданного уменьшения усиления, чтобы этот пик достиг определенного уровня (обычно 0,0 дБ).В результате при нормальных (то есть, не ограничивающих) условиях выходной сигнал будет очень низким и его необходимо будет снова усилить.

Во время микширования вы, несомненно, столкнулись с переполнением, которое вызвало искажение, посколькузначение будет изменяться и вызывать скачок в сигнале.Вместо этого вы хотите применить технику, называемую « ограничитель кирпичной стены », которая в основном применяет жесткий потолок к отсеченным образцам.Простейший способ сделать это: 

int32_t mixed = s1 + s2;
if(mixed >= 32767) {
  mixed = 32767;
}
else if(mixed <= -32767) {
  mixed = -32767;
}

Результатом этой техники является то, что вы услышите немного искажений вокруг сэмплов, которые обрезаются, но звук не будет полностью искаженным, как в случаес целочисленным переполнением.Искажение, хотя и присутствует, не разрушает впечатления от прослушивания.

...