Как я могу преобразовать данные спектрограммы в тензор (или многомерный массив numpy)? - PullRequest
Новая
       1

Как я могу преобразовать данные спектрограммы в тензор (или многомерный массив numpy)?

1 голос
/ 17 февраля 2020

Я использую keras и имею: 

        corrupted_samples, corrupted_sample_rate = sf.read(
            self.corrupted_audio_file_paths[index])

        frequencies, times, spectrogram = scipy.signal.spectrogram(
            corrupted_samples, corrupted_sample_rate)

Согласно документам , это дает: 

f (ndarray) - Array of sample frequencies.
t (ndarray) - Array of segment times.
Sxx (ndarray) - Spectrogram of x. By default, the last axis of Sxx corresponds to the segment times.

Я предполагаю, что все времена выстроится в очередь, так что мне наплевать на время (я не думаю). То же самое относится и к frequencies. Так что мне на самом деле нужны значения для каждой частоты, которые задаются Sxx (или spectrogram) в моем коде. Я не уверен, как на самом деле это сделать. Хотя это кажется простым.

1 Ответ

1 голос
/ 17 февраля 2020

На основе https://towardsdatascience.com/speech-recognition-analysis-f03ff9ce78e9 автор заявил, что спектрограмма является спектрально-временным представлением звука и показывает некоторые этапы преобразования файла wav в спектрограмму.

One из примера может быть, как показано ниже: 

## Check the sampling rate of the WAV file.
audio_file = './siren_mfcc_demo.wav'


import wave
with wave.open(audio_file, "rb") as wave_file:
    sr = wave_file.getframerate()
print(sr)

audio_binary = tf.read_file(audio_file)

# tf.contrib.ffmpeg not supported on Windows, refer to issue
# https://github.com/tensorflow/tensorflow/issues/8271
waveform = tf.contrib.ffmpeg.decode_audio(audio_binary, file_format='wav', samples_per_second=sr, channel_count=1)
print(waveform.numpy().shape)

signals = tf.reshape(waveform, [1, -1])
signals.get_shape()

# Compute a [batch_size, ?, 128] tensor of fixed length, overlapping windows
# where each window overlaps the previous by 75% (frame_length - frame_step
# samples of overlap).
frames = tf.contrib.signal.frame(signals, frame_length=128, frame_step=32)
print(frames.numpy().shape)

# `magnitude_spectrograms` is a [batch_size, ?, 129] tensor of spectrograms. We
# would like to produce overlapping fixed-size spectrogram patches; for example,
# for use in a situation where a fixed size input is needed.
magnitude_spectrograms = tf.abs(tf.contrib.signal.stft(
    signals, frame_length=256, frame_step=64, fft_length=256))

print(magnitude_spectrograms.numpy().shape)

Метод выше относится к https://colab.research.google.com/drive/1Adcy25HYC4c9uSBDK9q5_glR246m-TSx#scrollTo = QTa1BVSOw1Oe

Надеюсь, это поможет вам.

...