MarkLogic - Медленное Fsync Уведомление / предупреждение в файле журнала ошибок постоянно - PullRequest
Новая
       12

MarkLogic - Медленное Fsync Уведомление / предупреждение в файле журнала ошибок постоянно

3 голосов
/ 10 июля 2019

Мы используем экземпляр ML на AWS.Мы используем магнитные диски для хранения данных.Мы испытываем много медленных сообщений fsync в наших файлах журналов 

2019-07-10 00:00:01.756 Info: Memory 46% phys=31816 virt=51033(160%) rss=14950(46%) anon=13748(43%) file=2903(9%) forest=7442(23%) cache=10240(32%) registry=1(0%)
2019-07-10 00:00:02.036 Notice: Slow fsync /data/failover/Forests/test-003-1-1/Journals/Journal-20190709-235839-8921048-15627167181139510-10676271677428093868-9000702, 562.1 KB in 1.637 sec
2019-07-10 00:00:02.042 Notice: Slow fsync /data/Forests/test-modules/Label, 1.316 sec
2019-07-10 00:00:02.043 Notice: Slow fsync /data/Forests/Schemas/Label, 1.305 sec
2019-07-10 00:00:02.043 Notice: Slow fsync /data/Forests/Security/Label, 1.312 sec
2019-07-10 00:00:02.195 Notice: Slow fsync /data/Logs, 1.22 sec
2019-07-10 00:00:13.836 Warning: Slow fsync /data/failover/Forests/test-003-1-1/Label, 2.445 sec
2019-07-10 00:00:13.886 Warning: Slow msync /data/Forests/test-001-1/0000844d/Ordinals, 1 MB in 2.007 sec
2019-07-10 00:00:13.888 Notice: Slow fsync /data/failover/Forests/test-002-1-1/Label, 1.995 sec
2019-07-10 00:00:14.139 Info: Merged 444 MB in 94 sec at 5 MB/sec to /data/Forests/test-001-1/0000844b
2019-07-10 00:00:14.995 Info: Merging 690 MB from /data/Forests/test-001-1/0000844b, /data/Forests/test-001-1/00008449, /data/Forests/test-001-1/0000844a, and /data/Forests/test-001-1/0000844c to /data/Forests/test-001-1/0000844e, timestamp=15627162115706539
2019-07-10 00:00:42.740 Info: Saved 84 MB in 24 sec at 4 MB/sec to /data/failover/Forests/test-002-1-1/000041b5
2019-07-10 00:00:45.861 Info: Merged 193 MB in 58 sec at 3 MB/sec to /data/failover/Forests/test-002-1-1/000041b6

В чем причина получения вышеупомянутых сообщений "медленный fsync".Означает ли это, что диски работают медленно или перегружена сеть?Как узнать причину этих сообщений.

Также означает ли это, что выполнение запроса также будет работать медленно?или любое другое влияние на производительность MarkLogic?

1 Ответ

4 голосов
/ 10 июля 2019

Эта статья базы знаний содержит много подробностей об этих сообщениях об ошибках.

В частности, fsync должен завершиться за миллисекунды, поэтому очень важно, чтобы его выполнение заняло около 2,5 секунд: 

2019-07-10 00:00:13.836 Warning: Slow fsync /data/failover/Forests/test-003-1-1/Label, 2.445 sec

Цель fsync - " синхронизировать внутреннее состояние файла с устройством хранения ". Медленный fsync означает, что ваш диск работает медленно. Это приводит к тому, что чтение или запись данных непосредственно на диск может занять больше времени. Может быть несколько причин, почему это может произойти. Несколько вещей для проверки:

  • У вас много хостов на этом хосте из-за аварийного переключения? Может помочь правильная балансировка основных лесов на всех хостах.
  • Есть ли корреляция между медленным fsync и выполняющимися запросами? Оптимизация запросов для извлечения меньшего количества документов с диска может помочь.
  • Есть ли на этом хосте программное обеспечение, кроме MarkLogic? (Приложение NodeJS, Splunk и т. Д.) Может помочь запуск MarkLogic исключительно на этом хосте.

Как правило, рекомендуется решить эту проблему с MarkLogic Support или вашим дружелюбным консультантом по месту жительства, если вы не можете быстро определить причину.

...