Вам нужно будет сделать это на основе работающего оконного менеджера. OSX и Windows имеют (де-факто) стандартный способ, потому что есть только один выбор.
Вам не нужно указывать точное приложение файлового менеджера, хотя это можно сделать через wm. Я знаю, что это делает Gnome, и это важно сделать в KDE, поскольку могут использоваться два файловых менеджера (Konqueror / Dolphin).
Я согласен, что было бы неплохо стандартизировать freedesktop.org, хотя я сомневаюсь, что это произойдет, если кто-то не придет и не добровольно сделает это.
РЕДАКТИРОВАТЬ: я не знал о xdg-open. Полезно знать!