Вы можете просто поместить его в путь к классам, как предлагают другие, но вы не сможете писать в него.
Вместо этого укажите абсолютный путь в качестве аргумента виртуальной машины или переменной среды, чтобы вам не нужно было его жестко кодировать.
* 1005 Е.Г. *
-Dconfig.location=/path/to/config/file
с
File xmlFile = new File(System.getProperty("config.location"), "some.xml");
// ...
В качестве совершенно другой альтернативы вы можете рассмотреть базу данных.