Это должно работать (не проверено, поскольку я сейчас не на Windows-машине):
file_to_open = "c:\path\to\file.txt"
system %{cmd /c "start #{file_to_open}"}
Для справки, это также может быть сделано в OS X:
file_to_open = "/path/to/file.txt"
system %{open "#{file_to_open}"}