Вы можете использовать librosa для получения спектрограммы мела, как это:
import librosa
import matplotlib.pyplot as plt
y, sr = librosa.load(librosa.util.example_audio_file()) # your file
S = librosa.feature.melspectrogram(y=y, sr=sr, n_mels=128, fmax=8000)
librosa.display.specshow(librosa.power_to_db(S, ref=np.max), fmax=8000)
plt.savefig('mel.png')
Имейте ввиду, что это ложные цвета, RGB здесь не имеет смысла - ни какой-либо многоканальный. Используйте архитектуру, которая работает с одним каналом.