Использование параллельного AWK - кто-нибудь слышал об этом?

Question

Есть ли такая вещь? Может ли кто-нибудь объяснить это? Я использовал AWK для выполнения простых задач, таких как печать столбцов и объединение большого файла данных, но не для расчетов? Я думал, можно ли запустить AWK параллельно, используя все узлы и процессоры на моем компьютере или в сети. Но как? Какова основная цель использования параллельного AWK?

Спасибо за ваш вклад.

После публикации вопроса я обнаружил, что Parallel AWK существует. Вы можете найти больше об этом. Вот ссылка http://www.parallel -awk.org /

Answer 1

Проблема с параллельной реализацией awk заключается в том, что семантика явно предполагает, что операции обрабатываются по порядку. Например:

awk '{print NR, $0}'

дает вам вывод, похожий на cat -n. Трудность параллельной обработки состоит в том, что NR - это общее количество обработанных строк, а не только количество строк в данном файле (FNR)

Кроме того, существуют более сложные приемы, включающие такие команды, как getline, которые нельзя распараллелить (например, скрипт может быть закорочен для эмуляции расширения gnu nextfile)