Кластер NDB, создающий журналы отмены и файлы данных - PullRequest
Новая
       53

Кластер NDB, создающий журналы отмены и файлы данных

0 голосов
/ 26 мая 2018

Несколько вещей, которые я рассматриваю в отношении NDBcluster при хранении данных на дисковом хранилище.

  • В моей конфигурации я определил DataMemory = 20G.Итак, каков будет лучший общий размер отмененных файлов журнала?Я видел в блоге это должно быть 6xDataMemory.Это обязательно?

  • При создании файлов журнала отмены лучший способ создания - это много файлов небольшого размера или небольшое количество файлов большого размера?В качестве примера (10 из 1G файлов или 100 из 100M файлов, и если я создаю 200M файлов, что является лучшим размером буфера)

  • То же самое относится и к созданию файла данных.Является ли лучший способ создать 10 из 1G файла или 100 из 100M файлов?

  • Я использую отдельные файлы данных для отдельных табличных пространств и всегда одно табличное пространство для одной таблицы.Не использовать одно табличное пространство для двух таблиц.Это хороший способ для определения и выделения табличных пространств или не возникнет проблем с производительностью при использовании одного и того же табличного пространства для двух таблиц?

(Здесь я имею дело с огромным трафиком 4000 - 5000 TPS и размером базы данных для NDB почти 80 ГБ. И у меня есть 2 узла данных, 2 сервера mysql. Каждый узел данных имеет 128 ГБ памяти.)

Уилсон Хаук

1 Ответ

0 голосов
/ 30 мая 2018

Файлы журналов UNDO связаны с UNDO изменений данных на диске.Таким образом, нет реальной связи между размером файла журнала UNDO и DataMemory.Между DataMemory и размером журнала REDO существует связь, поскольку журнал REDO используется как данными в памяти, так и частями диска.

Использование маленьких файлов или файлов большего размера в основном зависит от работыфайловая система.Лично я бы начал с использования довольно больших и не так много файлов.

С точки зрения производительности нет никакой разницы, если вы используете одно табличное пространство или если вы используете один для каждой таблицы.Я всегда думаю об этом как об использовании одного табличного пространства для всех таблиц.Но я не знаю никаких проблем, чтобы использовать много табличных пространств.Хотя может быть жестко задано ограничение на количество табличных пространств, которые вы можете иметь.

Очевидно, что одно табличное пространство на таблицу означает, что вы можете быстро избавиться от файлов при удалении таблицы, если это представляет интерес.

Размер журнала UNDO должен быть вполне приемлемым, с несколькими десятками гигабайт для большинства случаев использования.Но при массивных вставках может потребоваться больший размер журнала UNDO, поскольку контрольные точки могут занимать много времени при массивных вставках.

...