Если вы используете его только в одном месте и не планируете обеспечивать интернационализацию, оставьте его встроенным.
Если вы используете его более чем в одном месте, особенно если сообщение становится частью вашего интерфейса (так что вы можете проверить это сообщение при обнаружении исключения, хотя вам действительно нужно использовать отдельный код ошибки или подклассы для этого ), сделайте его константой (публичной, если необходимо).
Если вам нужно локализовать сообщение, перенесите его в файл ресурса сообщения.