Это будет просто:
system("excel.exe file.txt");
См. Параметры командной строки для продуктов Office для получения дополнительной информации.
Как это работает, будет зависеть от приложения, потому что приложения решить, как они обрабатывают параметры командной строки. Если вам нужен универсальный способ, используйте:
system("open file.txt"); // Windows
system("xdg-open file.txt"); // Linux
. Это откроет файл с приложением по умолчанию для этого файла.