Что такое "векторизация"?

Question

Несколько раз я встречал этот термин в matlab, fortran ... какой-то другой ... но я так и не нашел объяснения, что это значит, и что он делает? Поэтому я спрашиваю здесь, что такое векторизация и что означает, например, что «цикл векторизован»?

Answer 1

Многие процессоры имеют наборы команд "vector" или "SIMD", которые применяют одну и ту же операцию одновременно к двум, четырем или более частям данных. Современные чипы x86 имеют инструкции SSE, многие чипы PPC имеют инструкции "Altivec", и даже некоторые чипы ARM имеют набор векторных инструкций, называемый NEON.

«Векторизация» (упрощенная) - это процесс переписывания цикла, так что вместо обработки одного элемента массива N раз он обрабатывает (скажем) 4 элемента массива одновременно N / 4 раза.

(я выбрал 4, потому что это то, что современные аппаратные средства, скорее всего, будут поддерживать напрямую; термин «векторизация» также используется для описания преобразования программного обеспечения более высокого уровня, где вы можете просто абстрагировать цикл и просто описать работу с массивами элементов, из которых они состоят)

---

Разница между векторизацией и развертыванием цикла: Рассмотрим следующий очень простой цикл, который добавляет элементы двух массивов и сохраняет результаты в третьем массиве.

for (int i=0; i<16; ++i)
    C[i] = A[i] + B[i];

Развертывание этого цикла превратит его в нечто вроде этого:

for (int i=0; i<16; i+=4) {
    C[i]   = A[i]   + B[i];
    C[i+1] = A[i+1] + B[i+1];
    C[i+2] = A[i+2] + B[i+2];
    C[i+3] = A[i+3] + B[i+3];
}

Векторизация, с другой стороны, производит что-то вроде этого:

for (int i=0; i<16; i+=4)
    addFourThingsAtOnceAndStoreResult(&C[i], &A[i], &B[i]);

Где "addFourThingsAtOnceAndStoreResult" является заполнителем для любых встроенных функций, используемых вашим компилятором для указания векторных инструкций. Обратите внимание, что некоторые компиляторы могут автоматически векторизовать очень простые циклы, подобные этому, которые часто можно включить с помощью опции компиляции. Более сложные алгоритмы все еще требуют помощи программиста для генерации хорошего векторного кода.

Answer 2

Векторизация - это термин для преобразования скалярной программы в векторную программу. Векторизованные программы могут выполнять несколько операций из одной инструкции, тогда как скалярные могут работать только с парами операндов одновременно.

Из Википедия :

Скалярный подход:

for (i = 0; i < 1024; i++)
{
   C[i] = A[i]*B[i];
}

Векторизованный подход:

for (i = 0; i < 1024; i+=4)
{
   C[i:i+3] = A[i:i+3]*B[i:i+3];
}

Answer 3

Это относится к способности выполнять одну математическую операцию над списком - или «вектором» - чисел за один шаг. Вы часто видите это с Фортраном, потому что это связано с научными вычислениями, которые связаны с суперкомпьютингом, где впервые появилась векторная арифметика. В настоящее время почти все настольные процессоры предлагают некоторую форму векторизованной арифметики посредством таких технологий, как Intel SSE. Графические процессоры также предлагают форму векторизованной арифметики.

Answer 4

Векторизация широко используется в научных вычислениях, где необходимо эффективно обрабатывать огромные порции данных.

В реальном программном приложении я знаю, что оно используется в NUMPY (не уверен в другом).

Numpy (пакет для научных вычислений на python), использует векторизация для быстрого манипулирования n-мерным массивом, что обычно медленнее, если это делается со встроенными опциями python для обработки массивов.

хотя существует множество объяснений, ЧТО ЗДЕСЬ ВЕКТОРИЗАЦИЯ ОПРЕДЕЛЕНА, КАК В СТРАХОВАЯ СТРАНИЦА ДОКУМЕНТАЦИИ

Векторизация описывает отсутствие какого-либо явного зацикливания, индексации и т. Д. В коде - это, конечно, происходит просто «за кулисами» в оптимизированном, предварительно скомпилированном C-коде. Векторизованный код имеет много преимуществ, среди которых:

1. векторизованный код более лаконичен и удобен для чтения

2. меньше строк кода обычно означает меньше ошибок

3. код более похож на стандартные математические обозначения (облегчая, как правило, правильно кодировать математические конструкты)

4. векторизация приводит к большему количеству «Pythonic» кода. Без Векторизация, наш код будет завален неэффективными и трудно читать для циклов.

Answer 5

Векторизация, простыми словами, означает оптимизацию алгоритма, чтобы он мог использовать SIMD-инструкции в процессорах.

AVX, AVX2 и AVX512 - это наборы команд (intel), которые выполняют одну и ту же операцию над несколькими данными в одной инструкции. например AVX512 означает, что вы можете работать с 16 целочисленными значениями (4 байта) одновременно. Это означает, что если у вас есть вектор из 16 целых чисел, и вы хотите удвоить это значение в каждом целом числе, а затем добавить к нему 10. Вы можете либо загрузить значения в общий регистр [a, b, c] 16 раз и выполнить ту же операцию, либо выполнить ту же операцию, загрузив все 16 значений в регистры SIMD [xmm, ymm] и выполнить операцию один раз. Это позволяет ускорить вычисление векторных данных.

В векторизации мы используем это в наших интересах, перемоделируя наши данные, чтобы мы могли выполнять SIMD-операции с ними и ускорять программу.

Единственная проблема с векторизацией - условия обработки. Потому что условия ветвят поток исполнения. Это может быть сделано путем маскировки. Путем моделирования условия в арифметическую операцию. например. если мы хотим добавить 10 к значению, если оно больше 100. мы можем либо.

if(x[i] > 100) x[i] += 10; // this will branch execution flow.

или мы можем смоделировать условие в арифметической операции, создав вектор условия c,

c[i] = x[i] > 100; // storing the condition on masking vector
x[i] = x[i] + (c[i] & 10) // using mask

хотя это очень тривиальный пример ... таким образом, c - это наш маскирующий вектор, который мы используем для выполнения двоичной операции на основе ее значения. Это позволяет избежать ветвления потока выполнения и обеспечивает векторизацию.

Векторизация так же важна, как распараллеливание. Таким образом, мы должны максимально использовать это. Все современные процессоры имеют SIMD-инструкции для тяжелых вычислительных нагрузок. Мы можем оптимизировать наш код для использования этих инструкций SIMD, используя векторизацию, это похоже на распараллеливание нашего кода для работы на нескольких ядрах, доступных на современных процессорах.

Я хотел бы остановиться на упоминании OpenMP, который позволяет векторизовать код с помощью прагм. Я считаю это хорошей отправной точкой. То же самое можно сказать и об OpenACC.

Answer 6

Смотрите два ответа выше. Я просто хотел добавить, что причина желания делать векторизацию состоит в том, что эти операции могут легко выполняться в паралеле суперкомпьютерами и многопроцессорными процессами, что дает большой выигрыш в производительности. На однопроцессорных компьютерах прирост производительности не будет.