Библиотека уровня пользователя для Loopback Storage (без устройства обратной петли для приложений Spark в HPC) - PullRequest
0 голосов
/ 02 апреля 2019

Cray рекомендует использовать петлевые устройства для запуска Spark в кластере HPC с файловыми системами Luster [1].Проблема в том, что большинство кластеров HPC не предоставляют доступ к устройствам обратной связи для своих пользователей.Поэтому мне интересно, есть ли библиотека, которая открывает только один огромный файл в Luster и позволяет использовать этот огромный файл как файловую систему, а затем мы можем использовать параллельный доступ к этому файлу.

Таким образом, мы можем иметь параллельный ввод-вывод при наличии надлежащих разделов и одного файла на раздел.Поиск ничего не показал.

[1] http://wiki.lustre.org/images/f/fb/LUG2016D2_Scaling-Apache-Spark-On-Lustre_Chaimov.pdf

1 Ответ

1 голос
/ 03 апреля 2019

Возможность этого зависит в значительной степени от вашего приложения.Можно было бы создать например.образ файловой системы ext4 в обычном файле с использованием mke2fs в качестве обычного пользователя, и было бы возможно получить к нему доступ с помощью libext2fs, связанного с вашим приложением (возможно, однопоточным) или с помощью fuse2fs в пользовательском пространстве.Может случиться так, что fuse2fs все еще нужно разрешение root для настройки, но я не уверен, но после этого он будет вести себя как обычная файловая система и не нуждается в блочном устройстве.

...