Вы можете просто использовать DirectoryInfo.GetFiles и использовать LINQ, чтобы найти наибольшее значение:
string filename = myDirectoryInfo.GetFiles().Select(fileInfo => int.Parse(fileInfo.Name)).Max().ToString();
(Тем не менее, вы, вероятно, захотите более тщательную проверку ошибок, так как она выдаст, если папка содержит имя файла, а не просто число ...)