Высокая задержка в облачных хранилищах Google, смонтированных из виртуальной машины с помощью gcsfuse --implicit-dirs - PullRequest
0 голосов
/ 21 февраля 2019

Я пытаюсь смонтировать несколько сегментов облачного хранилища Google из экземпляра виртуальной машины облачных вычислений Google, используя gcsfuse.Кажется, что некоторые из блоков правильно отображают свое содержимое, а другие - нет, если в монтировании не используются опции --implicit-dirs, например:

gcsfuse --implicit-dirs bucket-name  /mnt/gcs_buckets/bucket-name

Или добавление следующего к fstab (/etc/fstab)на ВМ:

bucket-name  /mnt/gcs_buckets/bucket-name  gcsfuse  rw,user,allow_other,implicit_dirs

Для контейнеров, где требуется --implicit-dirs, задержка для доступа к данным на смонтированном баке слишком мала, чтобы быть полезной.Я планирую добавить несколько записей в fstab для монтирования сегментов, и я понимаю, что разница между сегментами может быть связана с тем, как объекты были добавлены в сегмент.

Монтирование его в виде файловой системы упрощает требования к интеграции для существующего приложения, поэтому я хотел бы сначала выяснить, возможно ли либо автоматически «исправить» сегменты, для которых требуется аргумент --implicit-dirs, либоизучить другие варианты монтажа, которые не страдают от проблем с задержкой.Если монтирование его как файловой системы не будет работать, тогда мне придется пойти по пути написания пользовательского кода для API GCS, но я хотел бы изучить другие варианты, прежде чем идти по этому маршруту.

Есть ли у кого-нибудь какие-либо идеи / советы относительно того, возможно ли сделать это как монтирование файловой системы без проблем с задержкой?В качестве альтернативы, есть ли простой способ «исправить» сегменты, которые не работают без аргумента --implicit-dirs?Я новичок в GCS, поэтому любые идеи / советы будут с благодарностью.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...