Проблемы с размером чанка в файловой системе Google - PullRequest
5 голосов
/ 22 апреля 2011

Документ о файловой системе Google -

Размер куска является одним из ключевых дизайн параметры. Мы выбрали 64 МБ, который намного больше типичного файла размеры системного блока. Каждый кусок Реплика хранится как обычный Linux файл на сервере чанка и расширен только по мере необходимости. Ленивое распределение пространства избегает тратить пространство из-за внутреннего фрагментация, возможно, самая большая возражение против такого большого куска размер.

Что такое ленивое распределение пространства и как оно решит проблему внутренней фрагментации?

Небольшой файл состоит из небольшого количество кусков, возможно, только один. Серверы чанков, хранящие эти куски могут стать горячими точками, если много клиентов Доступ к тому же файлу ... Мы исправил эту проблему, сохранив исполняемые файлы с более высокой репликацией фактор и делая пакетную очередь запуск системного пошагового приложения раз.

Что такое ошеломляющее время запуска приложений и как оно предотвращает попадание в чанк-серверы чанков?

1 Ответ

6 голосов
/ 22 апреля 2011

Ленивое распределение пространства означает, что файловая система фактически не предоставляет файловое пространство до того, как оно будет записано. Их обычно называют разреженными файлами . Например, если используются только первые 2 МБ файла фрагмента размером 64 МБ, на диске будет фактически использовано только 2 МБ.

Потрясающее время запуска приложений означает, что они не запускают все сразу. Если при запуске каждому приложению необходимо прочитать несколько файлов конфигурации, хранящихся в GFS, если они all запускаются одновременно, возникнут проблемы с загрузкой. Распределение времени запуска облегчает это.

...