В документе Java WebStart нет ничего, что описывает такой механизм, поэтому вы находитесь на территории, зависящей от поставщика, и я не думаю, что существует API, позволяющий вашему приложению узнать, где находится файл JNLP.
Однако вы можете предоставить замену javaws, которая вызывает исходные javaws с параметром -wait и впоследствии удаляет файл JNLP. Это должно быть установлено пользователем.