Я нашел ответ сам, спасибо ...
Для тех, кто интересуется, как это сделать, вот как я это сделал:
Поскольку просмотр через HKLM дал мне хорошие данные (данные на удаленном компьютере), я просто искал значение systemroot, которое находится в HKLM \ Software \ Microsoft \ Windows NT \ CurrentVersion.
Получение appdata выполняется таким образом после:
systemdrive = RegistryKey.OpenRemoteBaseKey(RegistryHive.LocalMachine, _
MachineName).OpenSubKey("Software\Microsoft\Windows NT\CurrentVersion").GetValue("SystemRoot").ToString.Substring(0, 3)
Тогда для Windows XP:
appdata = systemdrive & "Documents and Settings\" & username & "\Application Data"
Для Windows 7:
appdata = systemdrive & "Users\" & username & "\AppData\Roaming"