вы можете уменьшить itemSize
до меньшего числа, что должно заставить скроллер отображать больше строк выше / ниже текущей видимой области.
это должно позволить вам прокручивать быстрее, но это также займет большепроцессор для запуска.
для примера: измените <cdk-virtual-scroll-viewport itemSize="50">
на <cdk-virtual-scroll-viewport itemSize="10">