Я создал электронное приложение, которое записывает аудио с помощью узла рабочего звука, сохраняя фрагменты в массив, а затем отправляя записанные фрагменты в основной процесс для записи файла wav.Worklet также вычисляет измерение и проверяет, не обрезаны ли значения, однако эти вычисления выполняются в асинхронной функции без функции процесса, ожидающей ее разрешения для предотвращения переполнения буфера.Кроме того, для прямого мониторинга входной поток подключен к узлу назначения медиа-потока.Вся эта установка работает довольно хорошо в большинстве случаев, но для небольшого количества записанных аудиофайлов имеются значительные шумы щелчка в случайных частях файлов.Странно то, что вы не слышите эти щелкающие звуки на выходе прямого мониторинга.Глядя на волновую форму файлов, кажется, что некоторые сэмплы просто отсутствуют, что также отображается на спектрограмме:
форма волны
спектрограмма
Я измерил время, которое будет занимать метод процесса для каждого прогона, и зарегистрировал участки, где это займет больше 2,9 мс (128 сэмплов / 44100 кГц моно => ~ 2,9 мс), а иногда это занимало больше времени, нощелчки не будут появляться в этих частях.Возможно ли даже, что веб-аудио API для подполнения буфера появится или есть какой-то внутренний буфер, и задержка только ухудшается, когда это происходит?Я просто не могу понять, откуда происходит щелчок.Ниже приведены соответствующие части кода.
Код рабочего листа:
const statsWindowSize = 1024 * 8; // ~5 stats per second for 44kHz
const clipThreshold = 0.98;
/* eslint-disable */
class RecordingWorkletProcessor extends AudioWorkletProcessor {
constructor() {
super();
this.isRecording = false;
this.clipping = false;
this.sampleIndex = 0;
this.sum = 0;
this.recordedBuffers = [];
this.writeIndex = 0;
this.port.onmessage = ({ data }) => {
if (data.type === 'startRecording') {
this.writeIndex = 0;
this.recordedBuffers = [];
this.isRecording = true;
} else if (data.type === 'stopRecording') {
this.port.postMessage({
type: 'recording',
buffers: this.recordedBuffers,
});
this.isRecording = false;
}
};
}
async computeStats(buffer) {
// ...removed to shorten the code snipped
}
process(inputs, outpus, parameters) {
const t0 = Date.now();
const writeIndex = this.writeIndex;
this.writeIndex += 1;
// Select the first input's first channel
const buffer0 = inputs[0][0];
// const { windowSize, clipThreshold, isRecording } = parameters;
if (this.isRecording) {
// Clone the data into a new Float32Array
const f32Buffer = new Float32Array(buffer0.length);
f32Buffer.set(buffer0);
this.recordedBuffers.splice(writeIndex, 0, f32Buffer);
}
// Detach the stats computation to prevent underruns
this.computeStats(buffer0);
// this.lastRunFinished = true;
if (this.isRecording) {
const t1 = Date.now();
const elapsedTime = t1 - t0;
if (elapsedTime > (128 / 44100) * 1000) {
const atPosition = (writeIndex * 128) / 44100;
this.port.postMessage({ type: 'underrun', elapsedTime, atPosition });
}
}
// Keep processor alive
return true;
}
}
/* eslint-enable */
registerProcessor('recording-worklet-processor', RecordingWorkletProcessor);
Код, который записывает волновой файл:
// before these parts recordedBuffers will be send from the worklet via postMessage
// Merge all buffers from channel 1 into a single Float32Array
const totalByteLength = recordedBuffers.reduce(
(total, buf) => total + buf.byteLength,
0,
);
const header = Header({
sampleRate: ctx.sampleRate,
channels: 1,
bitsPerSample: 32,
audioFormat: IEEE_FLOAT,
byteLength: totalByteLength,
});
const wstream = createWriteStream(audioFilePath);
wstream.write(header);
// RealBuffer is just an alias for the node Buffer type
const chunks = RealBuffer.allocUnsafe(totalByteLength);
let offset = 0;
for (let i = 0; i < recordedBuffers.length; i++) {
const typedArray = recordedBuffers[i];
for (let j = 0; j < typedArray.length; j++) {
chunks.writeFloatLE(typedArray[j], offset);
offset += typedArray.BYTES_PER_ELEMENT;
}
}
wstream.write(chunks);
wstream.end();
Модуль, который создает заголовок:
import { RealBuffer } from 'utils/io'; // An alias for the node Buffer type
export const PCM = 1;
export const IEEE_FLOAT = 3;
export const Header = ({
sampleRate,
channels,
bitsPerSample,
byteLength,
audioFormat,
}) => {
let offset = 0;
const buffer = RealBuffer.allocUnsafe(44);
const writeString = (str) => {
for (let i = 0; i < str.length; i += 1) {
buffer.writeUInt8(str.charCodeAt(i), offset + i);
}
offset += str.length;
};
const writeUint32 = (value) => {
buffer.writeUInt32LE(value, offset);
offset += 4;
};
const writeUint16 = (value) => {
buffer.writeUInt16LE(value, offset);
offset += 2;
};
const blockAlign = channels * (bitsPerSample / 8);
const byteRate = sampleRate * blockAlign;
const chunkSize = (byteLength / 8) - 8;
writeString('RIFF'); // ChunkID
writeUint32(chunkSize); // ChunkSize
writeString('WAVE'); // Format
writeString('fmt '); // Subchunk1ID
writeUint32(16); // Subchunk1Size
writeUint16(audioFormat); // AudioFormat (PCM=1,IEEE Float=3,...)
writeUint16(channels); // Channels
writeUint32(sampleRate); // SampleRate
writeUint32(byteRate); // ByteRate
writeUint16(blockAlign); // BlockAlign
writeUint16(bitsPerSample); // BitsPerSample
writeString('data'); // Subchunk2ID
writeUint32(byteLength); // Subchunk2Size
return buffer;
};
export default Header;