Это полностью зависит от реализации коллекции, которую вы используете - если она основана на Списке , будет снижение производительности.
Однако, если используется HashSet , производительность будет почти такой же.
Тем не менее, производительность не должна быть мотивацией здесь. Если вы хотите разрешить дублирование элементов, используйте список, который есть, в противном случае используйте список, который этого не делает.