Помимо отключения страницы ошибки Whitelabel, которую вы можете сделать, добавив это свойство в свой файл свойств:
server.error.whitelabel.enabled=false
Убедитесь, что у вас есть страница статической ошибки (например, 404.html) вследующая папка:
src/
+- main/
+- java/
| + <source code>
+- resources/
+- public/
+- error/
+- 404.html
Источник: Документы Spring Boot