Есть ли у вас доступ к n + 1-му элементу при добавлении n-го элемента?Если это так, вы можете заменить n + 1-е значение при добавлении n-го ключа.
Если нет, то вам нужна упорядоченная коллекция.Я не уверен, что вам нужен SortedDictionary, потому что ключи могут не соответствовать вашему порядку сортировки?Также удивительно, что вы перечисляете несколько пар K, V с одинаковыми ключами.Словарям это не понравится.
Ключ в V?Как ID собственности?Если это так, вы можете попытаться получить класс из KeyedCollection, который сохраняет порядок, в котором вы добавили элементы, и позволяет вам решить, какое свойство значения является ключом, если оно работает таким образом для вас.Но опять же, нет дубликатов ключей.