Размер данных индекса Elassandra в 10 раз превышает фактические данные - PullRequest
Новая
       45

Размер данных индекса Elassandra в 10 раз превышает фактические данные

0 голосов
/ 20 февраля 2020

В Elassandra размер данных cassandra составляет 8 ГБ, а размерasticsearch.data - 83 ГБ. У нас есть поток данных 5 msgs / se c, и ниже приведен запрос, используемый для создания таблиц и индексов:

Создание таблицы: 

CREATE TABLE IF NOT EXISTS x.abc (
        internal_tag text,
        generated_at timestamp,
        collected_at timestamp,
        data_type text,
        metadata text,
        recorded_at timestamp,
        value text,
        PRIMARY KEY(internal_tag, generated_at)
)
WITH CLUSTERING ORDER BY(generated_at ASC)
AND bloom_filter_fp_chance = 0.01
AND caching = { 'keys': 'ALL', 'rows_per_partition': 'NONE' }
AND comment = ''
AND compaction = { 'class': 'org.apache.cassandra.db.compaction.SizeTieredCompactionStrategy', 'max_threshold': '32', 'min_threshold': '4' }
AND compression = { 'chunk_length_in_kb': '64', 'class': 'org.apache.cassandra.io.compress.LZ4Compressor' }
AND crc_check_chance = 1.0
AND default_time_to_live = 0
AND gc_grace_seconds = 864000
AND max_index_interval = 2048
AND memtable_flush_period_in_ms = 0
AND min_index_interval = 128
AND read_repair_chance = 0.0
AND speculative_retry = '99PERCENTILE';

Создание индекса: 

curl -XPUT -H 'Content-Type: application/json' 'http://10.0.0.01:9200/x_abc_index' -d '{
        "settings": {
        "keyspace": "x"
    },
        "mappings":{
                "abc" : {
                        "discover":".*"
                }
        }
}'

Пожалуйста, предложите любое решение для преодоления проблемы с размером данных. Спасибо

1 Ответ

1 голос
/ 06 мая 2020

Я предложил LeBigCat, вы можете уменьшить размер индексов эластичного поиска, уменьшив количество индексированных полей в вашем отображении или выбрав правильное отображение.

...