Python - машинное обучение: создание обучающего и тестового набора из списка массивов

Question

Я хотел бы создать нейронную сеть, обученную на наборе данных RAVDESS (https://smartlaboratory.org/ravdess/):. Идея состоит в том, чтобы использовать этот набор данных для определения настроения человека, говорящего с микрофоном моего приложения.

Используя librosa и цикл for ниже, я извлек метки и функции, которые я хочу использовать для анализа.

# I started with only one folder to fasten the operations
oneActorPath = '/content/drive/My Drive/RAVDESS/Audio_Speech_Actors_01-24/Actor_01/'
lst = []

# Loop through each folder to find the wavs

for subdir, dirs, files in os.walk(oneActorPath):
  for file in files:
    if file == '.DS_Store':
      continue
    else:
      # Check if the format of the file is valid
      try:
        #Load librosa array
        data, rate = librosa.load(os.path.join(subdir,file))
        #Using the name of the file I can understand the emotion that contains
        file = file[6:8]
        arr = data, file
        lst.append(arr)
        #print(list)

      # If is not valid, skip it
      except ValueError:
        continue      

Вывод этого цикла представляет собой список массивов в следующем формате:

[(array([-8.1530527e-10,  8.9952795e-10, -9.1185753e-10, ...,
          0.0000000e+00,  0.0000000e+00,  0.0000000e+00], dtype=float32),
  '08'),
 (array([0., 0., 0., ..., 0., 0., 0.], dtype=float32), '08'),
 (array([0., 0., 0., ..., 0., 0., 0.], dtype=float32), '06'),
 (array([-0.00050612, -0.00057967, -0.00035985, ...,  0.        ,
          0.        ,  0.        ], dtype=float32), '05'),
 (array([ 6.8139506e-08, -2.3837963e-05, -2.4622474e-05, ...,
          3.1678758e-06, -2.4535689e-06,  0.0000000e+00], dtype=float32),
  '05'),
 (array([ 0.0000000e+00,  0.0000000e+00,  0.0000000e+00, ...,
          6.9306935e-07, -6.6020442e-07,  0.0000000e+00], dtype=float32),
  '04'),
 (array([-7.30260945e-05, -1.18022966e-04, -1.08280736e-04, ...,
          8.83421380e-05,  4.97258679e-06,  0.00000000e+00], dtype=float32),
  '06'),
 (array([0., 0., 0., ..., 0., 0., 0.], dtype=float32), '07'),
 (array([ 2.3406714e-05,  3.1186773e-05,  4.9467826e-06, ...,
          1.2180173e-07, -9.2944845e-08,  0.0000000e+00], dtype=float32),
  '01'),
 (array([ 1.1845550e-06, -1.6399191e-06,  2.5565218e-06, ...,
         -8.7445065e-09,  5.9859917e-09,  0.0000000e+00], dtype=float32),
  '04'),
 (array([0., 0., 0., ..., 0., 0., 0.], dtype=float32), '03'),
 (array([-1.3284328e-05, -7.4090644e-07,  7.2679302e-07, ...,
          0.0000000e+00,  0.0000000e+00,  0.0000000e+00], dtype=float32),
  '07'),
 (array([ 0.0000000e+00,  0.0000000e+00,  0.0000000e+00, ...,
          5.0694009e-08, -3.4546797e-08,  0.0000000e+00], dtype=float32),
  '03'),
 (array([ 1.5591205e-07, -1.5845627e-07,  1.5362870e-07, ...,
          0.0000000e+00,  0.0000000e+00,  0.0000000e+00], dtype=float32),
  '01'),
 (array([0., 0., 0., ..., 0., 0., 0.], dtype=float32), '03'),
 (array([0.0000000e+00, 0.0000000e+00, 0.0000000e+00, ..., 1.1608539e-05,
         8.2463991e-09, 0.0000000e+00], dtype=float32), '03'),
 (array([-3.6192148e-07, -1.4590451e-05, -5.3999561e-06, ...,
         -1.9935460e-05, -3.4417746e-05,  0.0000000e+00], dtype=float32),
  '02'),
 (array([ 0.0000000e+00,  0.0000000e+00,  0.0000000e+00, ...,
         -2.5319534e-07,  2.6521766e-07,  0.0000000e+00], dtype=float32),
  '02'),
 (array([ 0.0000000e+00,  0.0000000e+00,  0.0000000e+00, ...,
         -2.5055220e-08,  1.2936166e-08,  0.0000000e+00], dtype=float32)
...

Второй элемент каждого элемента в списке выше ('08' в первой строке) представляет метку набора данных в соответствии со словарем ниже

emotions = {
    "neutral": "01",
    "calm": "02",
    "happy": "03",
    "sad": "04",
    "angry": "05", 
    "fearful": "06", 
    "disgust": "07", 
    "surprised": "08"
}

На этом этапе, У меня есть свои метки и мои данные: как я могу разделить этот набор данных для получения обучения и набора тестов?

EDIT1 : мне нужно понять, как получить X и y из этогоструктура для использования train_test_split на данных.

Answer 1

Вы можете использовать функцию scikit-learn train_test_split ( соответствующие документы) . Пример в документации довольно прост:

import numpy as np
from sklearn.model_selection import train_test_split

X, y = np.arange(10).reshape((5, 2)), range(5)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)

В вашем случае вам может потребоваться выполнить некоторые манипуляции с данными для получения векторов X и y из вашего списка вывода:

X, y = zip(*lst)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)