Python: как быстро загрузить большой набор аудиоданных

Question

Я новичок в работе с большими объемами данных.У меня довольно большой набор данных (около 1 миллиона аудиофайлов каждые пару секунд), и я пытаюсь эффективно загрузить данные для целей визуализации (и в конечном итоге использовать в качестве обучающих данных в нейронной сети).

Пока я пробовал использовать librosa (использовала librosa.load (имя файла)), но для загрузки 10000 файлов потребовалось несколько часов.Я пытался выяснить, смогу ли я использовать графический процессор для его ускорения (возился с Numba), но я не уверен, является ли это даже действительной проблемой, которую решает графический процессор.

Мне кажется, что яЯ пропускаю что-то действительно очевидное.Может ли кто-нибудь более опытный сказать мне, что делать?Я с трудом пытаюсь найти решение в Интернете.Спасибо за помощь!

Answer 1

Вы можете использовать Pygame. В этой мини-программе я проверил, сколько времени занимает загрузка звукового файла длиной около 10 секунд:

import pygame
import time

pygame.init()
time_now = time.time()
sound = pygame.mixer.music.load('music.wav')
print(time.time() - time_now)

И вот результат:

0.0

И если вы хотите воспроизвести этот файл, вы делаете:

pygame.mixer.music.play(loops=int, start=float)

Это займет около 1-4 часов, чтобы загрузить их все еще. Для получения дополнительной информации перейдите к https://www.pygame.org/docs/ref/music.html.