@ Ответ Аатера объясняет некоторые основы .Я добавлю еще несколько деталей + примеры реальной организации кэша на Intel Haswell и AMD Piledriver с задержками и другими свойствами, а не только размером.
Для получения дополнительной информации о IvyBridge см. мой ответ на вопрос «Как кэширование может быть таким быстрым?» с некоторым обсуждением общей задержки использования нагрузки, включая время вычисления адреса и ширину.шин данных между различными уровнями кэша.
L1 должен быть очень быстрым (задержка и пропускная способность), даже если это означает ограниченную частоту обращений .L1d также должен поддерживать однобайтовые хранилища почти на всех архитектурах и (в некоторых проектах) доступ с выравниванием.Это затрудняет использование ECC (кодов исправления ошибок) для защиты данных, и на самом деле некоторые модели L1d (Intel) просто используют четность, с лучшим ECC только на внешних уровнях кэша (L2 / L3), где можно использовать ECCна больших чанках для уменьшения накладных расходов.
Невозможно спроектировать один уровень кэша, который мог бы обеспечить низкую среднюю задержку запроса (усредненную по всем ударам и пропускам) современного многоуровневого кэш .Поскольку современные системы имеют несколько очень «голодных» ядер, и все они совместно используют одно и то же DRAM с относительно высокой задержкой, это очень важно.
Каждому ядру необходим собственный частный L1 для скорости, но по крайней мере последний уровень кешаобычно используется совместно, поэтому многопоточная программа, которая считывает одни и те же данные из нескольких потоков, не должна обращаться к DRAM для каждого ядра.(И выступать в качестве поддержки для данных, записанных одним ядром и прочитанных другим). Это требует как минимум двух уровней кеша для нормальной многоядерной системы, и является частью мотивации для более чем двух уровней в современных разработках.Современные многоядерные процессоры x86 имеют быстрый двухуровневый кэш в каждом ядре, а больший более медленный кэш, общий для всех ядер.
Частота обращений L1 по-прежнему очень важна, поэтому кэши L1 не так малы /просто / быстро, как они могли бы быть, потому что это снизило бы рейтинг попаданий.Таким образом, достижение такой же общей производительности потребует более высоких уровней кэша, чтобы быть быстрее.Если более высокие уровни обрабатывают больше трафика, их задержка является большей составляющей средней задержки, и они чаще ограничивают свою пропускную способность (или нуждаются в более высокой пропускной способности).
Высокая пропускная способность часто означает возможность обрабатывать несколько операций чтения ипишет каждый цикл, т.е. несколько портов.Это требует больше площади и мощности для той же емкости, что и кэш с низкой пропускной способностью, поэтому это еще одна причина, по которой L1 остается небольшим.
L1 также использует трюки скоростиэто не сработало бы, если бы оно было больше .то есть большинство проектов используют виртуально-индексированные, физически помеченные (VIPT) L1, но со всеми битами индекса, идущими из-за смещения страницы, поэтому они ведут себя как PIPT (потому что младшие биты виртуального адреса одинаковыкак в физическом адресе).Это позволяет избежать синонимов / омонимов (ложные попадания или одни и те же данные находятся в кэше дважды, и увидеть подробный ответ Пола Клэйтона на связанный вопрос), но все же позволяет выполнять часть проверки попадания / пропуска параллельнопоиск TLB.Кэш VIVT не должен ждать TLB, но он должен быть недействительным при каждом изменении таблиц страниц.
На платформе x86 (которая использует страницы виртуальной памяти размером 4 КБ) 8-разрядные ассоциативные кэши L1 32 КБ распространены в современных разработках. Эти 8 тегов могут быть выбраны на основе младших 12 битов виртуального адреса, потому что эти биты одинаковы в виртуальных и физических адресах (они ниже смещения страницы для страниц размером 4 КБ). Этот скачок скорости для кэшей L1 работает, только если они достаточно малы и достаточно ассоциативны, чтобы индекс не зависел от результата TLB. 32киБ / 64В линий / 8-полосная ассоциативность = 64 (2 ^ 6) комплектов. Поэтому младшие 6 бит адреса выбирают байты в строке, а следующие 6 бит индекс представляют собой набор из 8 тегов. Этот набор из 8 тегов выбирается параллельно с поиском TLB, поэтому теги можно параллельно проверять по битам выбора физической страницы результата TLB, чтобы определить, какой (если есть) из 8 способов кэширования хранить данные .
Создание большего кеша L1 означало бы, что ему нужно либо дождаться результата TLB, прежде чем он сможет даже начать выбирать теги и загружать их в параллельные компараторы, либо увеличить ассоциативность, чтобы сохранить log2 (sets) + log2 (line_size) <= 12. (Больше ассоциативности означает больше путей на набор => меньше общих наборов = меньше индексных битов). Так, например кэш-память размером 64 КБ должна быть ассоциативной с 16 путями: по-прежнему 64 набора, но каждый набор имеет в два раза больше способов. Это делает увеличение размера L1 сверх текущего размера чрезмерно дорогим с точки зрения мощности и, возможно, даже задержки.
Если вы потратите больше своего бюджета мощности на логику кэша L1D, то останется меньше энергии для выполнения внеочередного выполнения, декодирования и, конечно, кэша L2 и т. Д. . Чтобы все ядро работало на частоте 4 ГГц и выдерживало ~ 4 команды в такт (в коде с высоким ILP) без плавления, требуется сбалансированный дизайн. Смотрите эту статью: Современные микропроцессоры: руководство за 90 минут! .
Чем больше кеш, тем больше вы теряете, сбрасывая его, поэтому большой кеш VIVT L1 будет хуже, чем текущий VIPT, который работает как PIPT. И больший, но с большим временем ожидания L1D, вероятно, также будет хуже.
Согласно @ PaulClayton , кэши L1 часто извлекают все данные в наборе параллельно с тегами, поэтому они готовы для выбора после обнаружения правильного тега. Затраты на электроэнергию для этого масштабируются с ассоциативностью, поэтому большой высокоассоциативный L1 будет очень плох для энергопотребления, а также для площади кристалла (и задержки) . (По сравнению с L2 и L3 площадь не будет большой, но для латентности важна физическая близость. Задержка распространения скорости света имеет значение, когда тактовые импульсы составляют 1/4 наносекунды.)
Более медленные кэши (например, L3) могут работать при более низком напряжении / тактовой частоте, чтобы выделять меньше тепла. Они могут даже использовать различные схемы расположения транзисторов для каждой ячейки памяти, чтобы сделать память более оптимизированной для питания, чем для высокой скорости.
Существует много причин, связанных с использованием мощности, для многоуровневых кэшей. Мощность / тепло является одним из наиболее важных ограничений в современном дизайне процессора, потому что охлаждение крошечного чипа затруднительно. Все является компромиссом между скоростью и мощностью (и / или площадью кристалла). Кроме того, многие процессоры питаются от батарей или находятся в дата-центрах, которые нуждаются в дополнительном охлаждении.
L1 почти всегда разделяется на отдельные кэши команд и данных. Вместо дополнительного порта чтения в унифицированном L1 для поддержки выборки кода, мы можем иметь отдельный кэш L1I, связанный с отдельным I- TLB. (Современные ЦП часто имеют L2-TLB, который является вторым уровнем кеша для переводов, совместно используемых L1 I-TLB и D-TLB, а не TLB, используемым обычным кешем L2). Это дает нам общий объем кэш-памяти L1 в 64 кбайт, статически разделенный на кэш-память кода и данных, за гораздо более дешевую (и, возможно, более низкую задержку), чем унифицированный кэш-память L1 размером 64 КБ с той же общей пропускной способностью. Поскольку между кодом и данными обычно очень мало совпадений, это большой выигрыш.
L1I может быть размещен физически близко к логике выборки кода, в то время как L1D может быть физически близко к единицам загрузки / сохранения.Задержки линии передачи со скоростью света имеют большое значение, когда тактовый цикл длится всего 1/3 наносекунды.Маршрутизация проводки также имеет большое значение: например, Intel Broadwell имеет 13 слоев меди над кремнием .
Разделение L1 очень помогает со скоростью, но унифицированный L2 является лучшимchoice. Некоторые рабочие нагрузки имеют очень маленький код, но касаются большого количества данных.Имеет смысл объединить кэши более высокого уровня для адаптации к различным рабочим нагрузкам вместо статического разделения на код и данные.(Например, почти весь L2 будет кэшировать данные, а не код, при выполнении большого умножения матрицы, в сравнении с большим количеством горячего кода при запуске раздутой программы на C ++, или даже эффективной реализацией сложного алгоритма (например, при запуске gcc).).Код можно копировать как данные, а не только загружать их с диска в память с помощью DMA.
Кэшам также нужна логика для отслеживания невыполненных пропусков (поскольку выполнение по порядку означает, что новые запросы могут сохранятьсягенерируется до разрешения первой ошибки).Наличие большого количества пропущенных пропусков означает, что вы перекрываете задержку пропусков, достигая более высокой пропускной способности.Дублирование логики и / или статическое разделение между кодом и данными в L2 не было бы хорошо.
Большие кэши с меньшим трафиком также являются хорошим местом для установки логики предварительной выборки.Аппаратная предварительная выборка обеспечивает хорошую производительность для таких вещей, как зацикливание массива, при этом каждому коду не требуются инструкции предварительной программной выборки.(Предварительная выборка SW была важна некоторое время, но предварительные выборки HW умнее, чем раньше, так что совет в Ульрих Дреппер в остальном превосходен Что должен знать каждый программист о памяти на сегодняшний день для многих случаев использования.)
Кэш-память высокого уровня с низким трафиком может позволить задержку для выполнения умных задач, таких как использование политики адаптивной замены вместо обычного LRU. Процессоры Intel IvyBridge и более поздние версии делают это , чтобы противостоять шаблонам доступа, которые не получают попаданий в кэш для рабочего набора, чуть слишком большого для размещения в кеше.(например, повторение нескольких данных в одном и том же направлении дважды означает, что они, вероятно, будут выселены непосредственно перед повторным использованием.)
Реальный пример: Intel Haswell .Источники: Анализ микроархитектуры Дэвида Кантера и Результаты тестирования Agner Fog (microarch pdf) .См. Также руководства Intel по оптимизации (ссылки в вики x86 ).
Кроме того, я написал отдельный ответ на вопрос: Какая техника отображения кэша используется в процессоре Intel Core i7?
В современных разработках Intel используется большой инклюзивный кэш L3, совместно используемый всеми ядрами , в качестве резервной копии для трафика когерентности кэша .Он физически распределяется между ядрами, с 2048 наборами * 16-way (2MiB) на ядро (с политикой адаптивной замены в IvyBridge и более поздних версиях ).
Более низкие уровни кэша-core.
- L1 : для каждого ядра 32 кБ каждая инструкция и данные (разделение), 8-позиционная ассоциативная. Задержка = 4 цикла .Как минимум 2 порта чтения + 1 порт записи.( Может быть, даже больше портов для обработки трафика между L1 и L2 , или, возможно, получение строки кэша от L2 конфликтует с закрытием магазина.) Может отслеживать 10 незавершенных пропусков кэша (10 буферов заполнения).
- L2 : унифицированный для каждого ядра 256 кБ, 8-канальный ассоциативный. Задержка = 11 или 12 циклов .Пропускная способность чтения: 64 байта / цикл.Основная логика предварительной выборки выполняет предварительную выборку в L2.Может отслеживать 16 выдающихся промахов.Может поставлять 64B за цикл к L1I или L1D.Фактический порт считается неизвестным.
- L3 : унифицированный, совместно используемый (всеми ядрами) 8MiB (для четырехъядерного процессора i7).Включено (из всех кешей L2 и L1 на ядро).12 или 16 способ ассоциативный. Задержка = 34 цикла .Выступает в качестве резервной копии когерентности кэша, поэтому измененные общие данные не должны выходить в основную память и обратно.
Другой реальный пример: AMD Piledriver : (например, процессоры Opteron и настольные FX). Размер строки кэша по-прежнему составляет 64B, как Intel и AMD используют уже несколько лет.Текст, в основном, скопирован из микроархива Agner Fog pdf, с дополнительной информацией о некоторых слайдах, которые я нашел , и более подробную информацию о сквозном кеше L1 + 4k для записи и записи в блоге Агнера комментарий, что только L1 является WT, а не L2 .
- L1I : 64 КБ, 2-сторонняя, совместно используемая парой ядер (версия AMDSMD имеет больше статического разбиения, чем Hyperthreading, и каждый из них называет ядром. Каждая пара разделяет модуль вектора / FPU и другие ресурсы конвейера.)
- L1D : 16 кБ, 4-в пути, на ядро. Задержка = 3-4 с .(Обратите внимание, что все 12 битов ниже смещения страницы все еще используются для индексации, поэтому обычный трюк VIPT работает.) (Пропускная способность: две операции за такт, причем одна из них является хранилищем). Политика = сквозная запись , с кэш-памятью, объединяющей 4 КБ.
- L2 : 2 МБ, 16-полосная, разделенная между двумясердечники. Задержка = 20 часов .Считайте пропускную способность 1 за 4 часа.Пропускная способность записи 1 на 12 тактов.
- L3 : 0 - 8 МБ, 64-полосная, используется всеми ядрами. Задержка = 87 часов .Считайте пропускную способность 1 на 15 часов.Пропускная способность записи 1 за 21 такт
Agner Fog сообщает, что с активными обоими ядрами пары пропускная способность L1 ниже, чем когда другая половина пары простаивает.Неизвестно, что происходит, поскольку кэш-память L1 должна быть отдельной для каждого ядра.