Топ x файлов в каждом каталоге с помощью EnumerateRemoteFiles

Question

Я пытаюсь получить файлы с сайта sftp и скопировать их локально. Мне нужны только 5 верхних файлов в каждом каталоге, но структуру каталогов нужно сохранить локально. Я дошел до сортировки по дате по убыванию, но не уверен, как я получу 5 лучших в каждом каталоге.

IEnumerable<RemoteFileInfo> files =
    session.EnumerateRemoteFiles(remotePath, null, EnumerationOptions.EnumerateDirectories | EnumerateOptions.AllDirectories)
    .OrderByDescending(file => file.LastWriteTime);