Это действительно зависит от количества данных в вашей коллекции и частоты, с которой эта операция выполняется. Поиск Linq по свойству должен будет прочитать каждый элемент / свойство в коллекции.
Если в вашей коллекции будет всего 10 элементов, и эта операция выполняется только один раз в секунду, то сканирование в прямом направлении для поиска элемента по свойству вполне вероятно будет достаточно быстрым.
Если в вашей коллекции 10 миллионов элементов, то только для пересылки или вам нужно выполнить эту операцию 100 раз в секунду, тогда вам, вероятно, понадобится некоторый индекс для этого свойства.
Если окажется, что вам нужно проиндексировать это, я бы предложил инкапсулировать эту логику в объекте. Так, например, добавление Item добавит его в основную коллекцию и добавит индексатор свойств в виде хеш-набора.