Да, флажок - это просто псевдоэлемент внутри флажка. Вы можете переопределить его стили так же, как и в самой коробке.
Для вашего случая с размером блока 10px будет работать следующий CSS (для других размеров значения должны быть скорректированы):
.mat-pseudo-checkbox-checked::after {
top: 0px;
left: -1px;
width: 6px;
height: 2px;
}