Этого можно добиться, добавив в текст кнопки вместо значка значок.
Добавьте класс для текста кнопки в шаблоне.
<button mat-raised-button color="warn">
<mat-icon>delete</mat-icon>
<span class="button-text">Remove Driver</span>
</button>
Затем определите button-text
в CSS.
.button-text {
padding-left: 50px;
padding-right: 74px; /* Add 24px to align the text in the center since the icon's width is 24px */
}