Вы пытаетесь использовать назначенный инициализатор , который разрешен в C, но не в C ++.
Вам необходимо явно инициализировать отдельные элементы:
return (matrix) { {
1.0f / (aspect * tanFov ),
0, 0, 0, 0,
1.0f / tanFov,
0, 0, 0, 0,
-1.f,
-1.0f,
0, 0,
-(2.0f * near),
0
}};