В модуле o3djs.math есть функция:
o3djs.math.matrix4.scaling = function(v) ...
где "v" - вектор. Поэтому, если у вас есть текущая матрица преобразования, вы можете сделать:
var scaleMatrix = o3djs.math.matrix4.scaling( [0.6, 1, 1] );
var newMatrix = o3djs.math.mulMatrixMatrix4(scaleMatrix, currMatrix);
«NewMatrix» масштабирует размер X куба на 0,6, а затем применяет «currMatrix».