Вы используете @ angular / material в 6.1.0.Эта версия предназначена для работы с Angular 6. Похоже, вы используете более раннюю версию Angular.
Для Angular 5 вы можете использовать @ angular / material в версии 5.xx, обновив файл package.json следующим образом:
"dependencies": {
...
"@angular/cdk": "^5.2.5",
"@angular/material": "^5.2.5",
...
},