Если компьютерная графика представляет собой цветные точки в 2-мерном пространстве, представляющие 3-мерное пространство, то синтез звука представляет собой амплитудные значения, регулярно разделяемые во времени, представляющие музыкальные события.
Если вы хотите, чтобы ваш результат звучал как музыка (та музыка, которая нравится большинству людей), то вы либо собираетесь использовать некоторые стандартные методы синтеза, либо буквально тратите десятилетия своей жизни, изобретая их с нуля.
Основными методами являются аддитивный синтез, в котором отдельными элементами являются частоты, амплитуды и фазы синусоидальных колебаний; вычитающий синтез, где вы работаете с коэффициентами фильтра и сложным входным сигналом; синтез частотной модуляции, где вы работаете с глубинами модуляции и скоростями этапов модуляции; гранулярный синтез, в котором короткие (от сотых до десятых доли секунды) обернутые фрагменты записанного звука или искусственной формы волны объединяются в огромных количествах. Каждый из них на практике использует параметры, которые меняются в течение заметки, и часто вы будете смешивать элементы различных техник в более крупном инструменте.
Я рекомендую эту книгу , хотя в ней нет математики для многих понятий, она, по крайней мере, закладывает основу для используемых понятий и дает хороший обзор методов.
Вы бы не тратили время на сэмплирование за сэмплом, чтобы заниматься музыкой на практике, равно как и тратить свое время на прохождение пикселя за пикселем для рендеринга 3D (другими словами, да, переходите сэмплирование за сэмплом, если создаете инструмент для других людей). делать музыку, но это слишком низкий уровень, если вы заинтересованы в создании музыки).