Если вы решите использовать фабрику для одноэлементных объектов, вам нужно будет управлять постоянством одноэлементного объекта. Кроме этого, я не понимаю, почему вы хотите, чтобы фабрики управляли постоянством.
На самом деле, если фабрики управляют постоянством - за исключением случаев, когда задействованы синглоны, - это может привести к полной противоположности правильному разделению интересов, что является смыслом использования фабрики в первую очередь.