К сожалению, вы не можете изменить анимацию диалога, поскольку анимации диалога выполняются программно с помощью Angular Animations.
Что касается причины, по которой диалоги отображаются ниже друг друга, этопотому что вы не включили тему в свое приложение!
Измените файл styles.css на следующий код:
@import '~@angular/material/prebuilt-themes/indigo-pink.css';