librosa.util.exceptions.ParameterError: Неверная форма для монофонического c аудио: ndim = 2, shape = (172972, 2) - PullRequest
Новая
       68

librosa.util.exceptions.ParameterError: Неверная форма для монофонического c аудио: ndim = 2, shape = (172972, 2)

1 голос
/ 09 января 2020

Пожалуйста, кто-нибудь, помогите мне решить эту проблему

Я следовал этому уроку: https://data-flair.training/blogs/python-mini-project-speech-emotion-recognition/

И использовал их набор данных, который они взяли из набора данных RAVDESS и снизил частоту дискретизации их. Я могу тренироваться, используя эти данные легко. Но когда я использую Исходные данные отсюда: https://zenodo.org/record/1188976

Просто "Audio_Speech_Actors_01-24.zip" и пытаюсь обучить модель, это выдает мне ошибку ниже: 

Traceback (most recent call last):
  File "C:/Users/raj.pandey/Desktop/speech-emotion-recognition/main.py", line 64, in <module>
    x_train, x_test, y_train, y_test = load_data(test_size=0.20)
  File "C:/Users/raj.pandey/Desktop/speech-emotion-recognition/main.py", line 57, in load_data
    feature = extract_feature(file, mfcc=True, chroma=True, mel=True)
  File "C:/Users/raj.pandey/Desktop/speech-emotion-recognition/main.py", line 32, in extract_feature
    stft = np.abs(librosa.stft(X))
  File "C:\Users\raj.pandey\Desktop\speech-emotion-recognition\lib\site-packages\librosa\core\spectrum.py", line 215, in stft
    util.valid_audio(y)
  File "C:\Users\raj.pandey\Desktop\speech-emotion-recognition\lib\site-packages\librosa\util\utils.py", line 268, in valid_audio
    'ndim={:d}, shape={}'.format(y.ndim, y.shape))
librosa.util.exceptions.ParameterError: Invalid shape for monophonic audio: ndim=2, shape=(172972, 2)

Учебное пособие, предоставляемое поездами из того же набора данных, но только из-за того, что они снизили частоту выборки. Почему он не работает на оригинальном?

Нужно ли что-то делать с этим в коде: 

X = sound_file.read(dtype="float32")

Я тоже просто из любопытства пытался предсказать из файл .mp3, и это привело к ошибке. Затем я конвертировал этот файл .mp3 в wav и попытался, но все равно выдает ошибку в заголовке.

Как решить эту ошибку и заставить ее тренироваться на исходных данных? Если он начнет обучение на оригинале, то я думаю, что он может предсказать преобразованный файл .mp3 в wav.

Ниже приведен код, который я использую: 

import librosa
import soundfile
import os
import glob
import pickle
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier
from sklearn.metrics import accuracy_score

# DataFlair - Emotions in the RAVDESS dataset
emotions = {
    '01': 'neutral',
    '02': 'calm',
    '03': 'happy',
    '04': 'sad',
    '05': 'angry',
    '06': 'fearful',
    '07': 'disgust',
    '08': 'surprised'
}
# DataFlair - Emotions to observe
observed_emotions = ['calm', 'happy', 'fearful', 'disgust']


# DataFlair - Extract features (mfcc, chroma, mel) from a sound file
def extract_feature(file_name, mfcc, chroma, mel):
    with soundfile.SoundFile(file_name) as sound_file:
        X = sound_file.read(dtype="float32")
        sample_rate = sound_file.samplerate
        if chroma:
            stft = np.abs(librosa.stft(X))
        result = np.array([])
        if mfcc:
            mfccs = np.mean(librosa.feature.mfcc(y=X, sr=sample_rate, n_mfcc=40).T, axis=0)
            result = np.hstack((result, mfccs))
        if chroma:
            chroma = np.mean(librosa.feature.chroma_stft(S=stft, sr=sample_rate).T, axis=0)
            result = np.hstack((result, chroma))
        if mel:
            mel = np.mean(librosa.feature.melspectrogram(X, sr=sample_rate).T, axis=0)
            result = np.hstack((result, mel))
    return result


# DataFlair - Load the data and extract features for each sound file
def load_data(test_size=0.2):
    x, y = [], []
    for file in glob.glob("C:\\Users\\raj.pandey\\Desktop\\speech-emotion-recognition\\Dataset\\Actor_*\\*.wav"):
        # for file in glob.glob("C:\\Users\\raj.pandey\\Desktop\\speech-emotion-recognition\\Dataset\\newactor\\*.wav"):

        file_name = os.path.basename(file)
        emotion = emotions[file_name.split("-")[2]]

        if emotion not in observed_emotions:
            continue
        feature = extract_feature(file, mfcc=True, chroma=True, mel=True)
        x.append(feature)
        y.append(emotion)
    return train_test_split(np.array(x), y, test_size=test_size, random_state=9)


# DataFlair - Split the dataset
x_train, x_test, y_train, y_test = load_data(test_size=0.20)

# DataFlair - Get the shape of the training and testing datasets
# print((x_train.shape[0], x_test.shape[0]))

# DataFlair - Get the number of features extracted
# print(f'Features extracted: {x_train.shape[1]}')

# DataFlair - Initialize the Multi Layer Perceptron Classifier
model = MLPClassifier(alpha=0.01, batch_size=256, epsilon=1e-08, hidden_layer_sizes=(300,), learning_rate='adaptive',
                      max_iter=500)

# DataFlair - Train the model
model.fit(x_train, y_train)

# print(model.fit(x_train, y_train))

# DataFlair - Predict for the test set
y_pred = model.predict(x_test)
# print("This is y_pred: ", y_pred)


# DataFlair - Calculate the accuracy of our model
accuracy = accuracy_score(y_true=y_test, y_pred=y_pred)

# DataFlair - Print the accuracy
# print("Accuracy: {:.2f}%".format(accuracy * 100))

# Predicting random files
tar_file = "C:\\Users\\raj.pandey\\Desktop\\speech-emotion-recognition\\Dataset\\newactor\\pls-hold-while-try.wav"
new_feature = extract_feature(tar_file, mfcc=True, chroma=True, mel=True)
data = []
data.append(new_feature)
data = np.array(data)
z_pred = model.predict(data)
print("This is output: ", z_pred)

Набор данных, предоставленный обучающей программой, был следующим: https://drive.google.com/file/d/1wWsrN2Ep7x6lWqOXfr4rpKGYrJhWc8z7/view

Исходный набор данных, который вы можете получить здесь (который не работает с программой): https://zenodo.org/record/1188976 (Audio_speech_actor one)

При прогнозировании случайных файлов, если вы поместили какие-либо файлы .wav с речь в нем, это приводит к ошибке. И если вы попробуете преобразовать текст в речь, получите .wav и передадите его здесь, он всегда скажет «боязливый». Я попытался преобразовать .mp3 в .wav, чтобы он работал нормально, но нет, все еще ошибка.

Кто-нибудь еще проверял, как я могу заставить его работать?

...