clojure pmap / preduce vs fork-join

Question

Похоже, что clojure будет иметь реализацию fork-join , которая выглядит как функциональная оболочка над фреймворком java fork join.

Мне интересно, какая разница между ними и pmap / preduce?

Answer 1

Fork-join является более общим, чем основанный на последовательности pmap / preduce, и должен обеспечивать более детальный контроль над параллелизмом. Точные API для этого все еще находятся в воздухе.

Answer 2

Эти слайды содержат несколько диаграмм, показывающих сравнения между двумя подходами: http://data -sorcery.org / 2010/10/23 / clojureconj /

Answer 3

При взгляде на этот код их функциональность будет в основном одинаковой - единственное отличие состоит в том, что pmap использует Futures, работающие в пуле потоков агента, в качестве базового примитива, тогда как pvmap использует fork-join.

Я не в состоянии сказать наверняка, но я ожидаю, что то, что произойдет лучше в общем случае, станет стандартной реализацией для pmap, если только не будет достаточно существенных компромиссов, чтобы оба стоили того ,

Похоже, что (по крайней мере, на данный момент) инфраструктура fork-join поддерживает только векторы, поэтому она не поленизая, как pmap.

Answer 4

Ни pmap, ни pvmap не избавят нас от необходимости использовать правильный размер куска .Для моих проектов это обычно означает разбиение данных на куски и использование map для каждого чанка, затем использование pmap для параллельного отображения чанковзатем уменьшите и сгладьте.

Answer 5

Насколько я понимаю, одно отличие состоит в том, что pmap будет работать только с той степенью "краткости", которая ему дана.Функция отображается на каждый член последовательности, заданной для pmap.Если гранулярность слишком мала, потенциальные выгоды параллелизма поглощаются накладными расходами на создание и управление слишком большим количеством Future с.

Fork-join позволяет выполнять кражу работы, так что количество запускаемых потоков в каждом потоке может быть адаптивным.