Каталог данных приложения текущего пользователя будет одним местом для их хранения.
string basePath = Environment.GetFolderPath(Environment.SpecialFolder.ApplicationData);
basePath = System.IO.Path.Combine(basePath, "MyProgram");
if (!Directory.Exists(basePath))
Directory.CreateDirectory(basePath);
Попытка записи чего-либо внутри файлов Программы после установки приведет к проблемам в Vista, Windows 2008 server, Windows 7 и более поздних версиях. Если, конечно, ваше приложение не требует повышения прав. Также вы упомянули, что ваши файлы специфичны для каждого пользователя.