Похоже, вам нужно найти универсальную библиотеку утилит матрицы.Класс flash.geom.Matrix
подходит только для представления одного конкретного вида матрицы, то есть матрицы 3x3, представляющей аффинное преобразование.Вот почему вы не можете изменить размер матрицы, и поэтому у нее есть методы для выполнения поворотов и так далее, но нет методов для очевидных вещей, таких как поиск определителя.
К сожалению, AS3 не имеет никакой стандартной матрицыбиблиотеки для общего пользования.Когда бы я ни нуждался в таких вещах в прошлом, я просто собирал их вручную, поэтому я не могу рекомендовать какие-либо хорошие библиотеки.Но вот вероятный проект в Google Code, который вы можете попробовать, и есть вероятность, что другие будут плавать вокруг.