Кэши малы, потому что кремний, используемый для их построения, довольно дорогой, и, особенно на процессорах типа CISC, на чипе может не хватить места для их хранения. Кроме того, увеличение размеров чипов сопряжено с его стоимостью, и существует вероятность того, что он не поместится в гнездо, что создает еще больше проблем. Это не так просто;)
EDIT:
Ну, у меня нет никаких статей по этому поводу, но я все равно объясню свое мнение простым вопросом: если программе требуется х байт памяти, какая разница, если размер кеша равен 10 * х байтов или 100 * Икс? После того, как все данные загружены в кеш (который вообще не зависит от их размера), разница в скорости доступа к кешу. И учитывая местность ссылки , нет необходимости иметь все в кэше.
Кроме того, наличие больших цепочек требует наличия лучшего алгоритма для поиска в нем запрашиваемых данных. Например, доступ к данным в полностью ассоциативных кэшах станет медленнее, чем доступ к основной памяти, поскольку размер кэша увеличивается (что означает, что все больше и больше мест для поиска данных). Однако при рассмотрении системы многозадачности возникают другие проблемы, о которых я на самом деле не знаю.
В заключение следует отметить, что прирост производительности, вызванный увеличением размера кэшей, становится меньше по мере приближения к обычному объему данных, используемому всем программным обеспечением, работающим на данной машине.