Предположим, у вас есть угол nAngle в радианах, тогда вращающаяся матрица будет выглядеть так:
var nCos = Math.cos(nAngle).toFixed(3),
nSin = Math.sin(nAngle).toFixed(3);
var sFilter = "progid:DXImageTransform.Microsoft.Matrix(sizingMethod='auto expand', M11=" + nCos + ", M12=" + (-nSin) + ", M21=" + nSin + ", M22=" + nCos + ")";
Вы также можете посмотреть спецификации: Матричный фильтр