В MyDialogComponent вставьте MatDialogRef в его конструктор, например,
constructor(private dialogRef: MatDialogRef<MyDialogComponent>){}
и затем расширите его, например. используя событие нажатия кнопки в шаблоне или что-то подобное:
В шаблоне:
<button (click)="onCancelClicked()">Cancel</button>
В компоненте:
onCancelClicked(): void {
this.dialogRef.close();
}
Не совсем уверен, почему это не работает так, как у вас, но вышеизложенное - способ, которым я всегда делал это. Возможно, вам нужно явно вызвать функцию close ().