как заставить команду unix использовать несколько процессоров

Question

Как можно сделать, чтобы команда Unix (скажем, однострочная с использованием cut и awk для огромного файла) использовала все 16 ядер вместо одного?Это не программа, где я могу использовать -j и указать количество используемых процессоров ...

Answer 1

Пробовали ли вы GNU параллельно распараллеливать задания? Смотри http://www.gnu.org/software/parallel/

Answer 2

Один из возможных способов - разделить входной файл на несколько частей, а затем запустить отдельные конвейеры оболочки для каждой части. Несколько процессов будут занимать несколько ядер.

Answer 3

Если вы используете оба cut и awk в одном конвейере, они, вероятно, будут работать на разных процессорах, поэтому вы будете использовать два из них. Нет простого способа настроить такой короткий конвейер, чтобы использовать больше процессоров, чем количество шагов в конвейере.