Поместите файл в исходную папку, он будет скопирован в вывод и добавлен в jar вместе с классами в соответствии с Settings
|Compiler
|Resource Patterns
.
Чтобы загрузить файл в ваше приложение, используйте что-то вроде:
Properties props = new Properties();
InputStream is = this.getClass().getResourceAsStream("/file.properties");
props.load(is);