Поддерживает ли IBM General Parallel File System (GPFS) задания Map / Reduce?

Question

Я изучаю различные распределенные файловые системы.

Поддерживает ли IBM General Parallel File System (GPFS) задания Map / Reduce самостоятельно? Без использования стороннего программного обеспечения (например, Hadoop Map / Reduce)?

Спасибо!

Answer 1

В 2009 году GPFS была расширена для бесперебойной работы с Hadoop в качестве архитектуры кластерного общего ресурса NFS GPFS, которая теперь доступна под названием Оптимизатор размещения файлов GPFS (FPO).FPO позволяет полностью контролировать размещение данных для всех реплик, если этого требуют приложения.Конечно, вы можете легко настроить соответствие HDFS.

Проверьте детали на http://publib.boulder.ibm.com/infocenter/clresctr/vxrx/index.jsp?topic=%2Fcom.ibm.cluster.gpfs.v3r5.gpfs200.doc%2Fbl1adv_fposettings.htm

Answer 2

GPFS была разработана за несколько десятилетий до того, как Map / Reduce была изобретена как парадигма распределенных вычислений.GPFS сама по себе не имеет возможности Map / Reduce.Как в основном предназначен для HPC и узлы хранения отличаются от вычислительных узлов.

Следовательно, Map / Reduce можно выполнить с помощью стороннего программного обеспечения (монтирование GPFS на всех узлах Hadoop), но это не будет очень эффективным, поскольку все данные находятся далеко.Локальность данных не может быть использована.Кэши более или менее бесполезны и т. Д.