Вы гений, но и при получении новых каталогов вы должны объединить их путь с начальным каталогом.
// Add all directories at this directory
foreach (string directoryName in isolatedStorageFile.GetDirectoryNames(directoryPath))
{
stack.Push(Path.Combine(dir,directoryName));
}