Я бы сказал, что в большинстве случаев, даже если бы я знал количество элементов в коллекции, я использовал бы Список просто для количества предоставляемых им служебных функций и совместимости с LINQ.
Хеш-карты являются важным примером использования, когда вам нужен более быстрый доступ к элементам в коллекции.