Индекс Elasticsearch занимает больше места на диске, чем кажется - PullRequest
Новая
       11

Индекс Elasticsearch занимает больше места на диске, чем кажется

0 голосов
/ 01 мая 2018

У меня есть несколько индексов вasticsearch, в одном из них всего около 100 документов, но он должен обновляться каждую секунду.

Результат GET _cat/indices выглядит следующим образом: 

green  open index1           8naYU5e-R-iHvfSKnrEiGw 1 0      2   9  25.5kb  25.5kb
yellow open index2           ZPQWzY7VRYGnBG0i6AL5ag 5 1   5658  89   1.2mb   1.2mb
yellow open index3           MTIDbt4uQbOv4K-0uuyOKA 5 1      0   0   1.1kb   1.1kb
yellow open index4           laF0UcIYTFKQQ6bB9dtQyw 5 1      0   0   1.1kb   1.1kb
yellow open index5           d5SYGXhYTPiVH_GKSA47lQ 5 1      0   0   1.1kb   1.1kb
yellow open index6           nIiNMwNWRZu-aISdLWa8ZA 5 1 110964  61  16.1mb  16.1mb
yellow open index7           g492XL4ZRKy4NOIBwF1yzA 5 1 111054 352  12.5mb  12.5mb
yellow open index8           C2g2RI_oQaOxUvpbzSnVIQ 5 1    123 400 484.8kb 484.8kb

Как вы можете видеть, index7 содержит только 123 документа, и он не должен занимать более 500 КБ на диске.

Но результат du -sh ./* такой: 

128K    ./8naYU5e-R-iHvfSKnrEiGw
1.5G    ./C2g2RI_oQaOxUvpbzSnVIQ
172K    ./d5SYGXhYTPiVH_GKSA47lQ
1.1G    ./g492XL4ZRKy4NOIBwF1yzA
172K    ./laF0UcIYTFKQQ6bB9dtQyw
172K    ./MTIDbt4uQbOv4K-0uuyOKA
424M    ./nIiNMwNWRZu-aISdLWa8ZA
276M    ./ZPQWzY7VRYGnBG0i6AL5ag

Это занимает более 1 ГБ на диске.

Мой вопрос: почему и как я могу это исправить?

В Ubuntu я используюasticsearch 6.2.4 16.04

UPDATE

результат du -sh ./g492XL4ZRKy4NOIBwF1yzA/*

3.2M    ./indices/g492XL4ZRKy4NOIBwF1yzA/0/index
8.0K    ./indices/g492XL4ZRKy4NOIBwF1yzA/0/_state
241M    ./indices/g492XL4ZRKy4NOIBwF1yzA/0/translog
3.1M    ./indices/g492XL4ZRKy4NOIBwF1yzA/1/index
8.0K    ./indices/g492XL4ZRKy4NOIBwF1yzA/1/_state
238M    ./indices/g492XL4ZRKy4NOIBwF1yzA/1/translog
3.2M    ./indices/g492XL4ZRKy4NOIBwF1yzA/2/index
8.0K    ./indices/g492XL4ZRKy4NOIBwF1yzA/2/_state
241M    ./indices/g492XL4ZRKy4NOIBwF1yzA/2/translog
3.1M    ./indices/g492XL4ZRKy4NOIBwF1yzA/3/index
8.0K    ./indices/g492XL4ZRKy4NOIBwF1yzA/3/_state
241M    ./indices/g492XL4ZRKy4NOIBwF1yzA/3/translog
3.1M    ./indices/g492XL4ZRKy4NOIBwF1yzA/4/index
8.0K    ./indices/g492XL4ZRKy4NOIBwF1yzA/4/_state
241M    ./indices/g492XL4ZRKy4NOIBwF1yzA/4/translog
4.0K    ./indices/g492XL4ZRKy4NOIBwF1yzA/_state/state-4.st

1 Ответ

0 голосов
/ 01 мая 2018

Размер, который вы измерили с помощью du -h в папке индекса, включает не только размер, взятый для документов, хранящихся в индексе, но также содержит файлы журнала , которые по умолчанию могут увеличиваться до 512 МБ

В вашем случае _cat/indices показывает, что ваш индекс index7 имеет размер 12,5 МБ, а при запуске du -h в вашей папке индекса вы можете видеть, что каждая подпапка index, расположенная в каждой папке шардов, приблизительно равна 3,1 мегабайта, то есть примерно такой же величины, как сообщается _cat/indices.

...