Просто обнулите соответствующие матричные элементы. В матрице трехмерного преобразования 4x4 они сохраняются как три первых элемента либо в самом правом столбце, либо в нижней строке, в зависимости от того, используете ли вы предварительное или последующее умножение.
Если у вашего класса Matrix есть метод для получения перевода, он, вероятно, также имеет метод для добавления переводов. В этом случае просто добавьте противоположный перевод того, что у вас уже есть.