Обновление Ignite вызывает очень и очень медленно, когда значение равно Treemap, а данные в treemap увеличиваются до 10K - PullRequest
Новая
       12

Обновление Ignite вызывает очень и очень медленно, когда значение равно Treemap, а данные в treemap увеличиваются до 10K

0 голосов
/ 20 мая 2018

У меня есть кодовая логика обновления записи кэша воспламенения,

кэш определен как: 

IgniteCache<String, TreeMap<Long, InfoResultRecord>> txInfoCache;

Ключ - строка типа кэша, а для значения я использую TreeMap для сохранениязапись по порядку (мне нужно упорядочить данные), но время, используемое для обновления, увеличивается с увеличением размера TreeMap. Я обнаружил, что когда размер TreeMap составляет около 10 КБ, каждый вызов для одной записи добавляет к значению дерева кэшаочень медленно, около 2 секунд, если мне нужно добавить данные 1К в Treemap, это будет стоить 2000 секунд, это действительно очень медленно и неприемлемо.

Я использую invoke для обновления кэша, чтобы добавить запись вДревовидная карта: 

txInfoCache.invoke(txType, new TxInfoProcessor(), record);

Конфигурация для кэша: 

CacheConfiguration<String, TreeMap<Long, InfoResultRecord>> cacheCfg =
        new CacheConfiguration<>("TxInfoCache");
cacheCfg.setCacheMode(CacheMode.REPLICATED);
//cacheCfg.setStoreKeepBinary(true);
cacheCfg.setAtomicityMode(ATOMIC);
cacheCfg.setBackups(0);
txInfoCache = ignite.getOrCreateCache(cacheCfg);

, а процессор для добавления записи в Древовидную карту: 

private static class TxInfoProcessor implements EntryProcessor<
        String,
        TreeMap<Long, InfoResultRecord>,
        TreeMap<Long, InfoResultRecord>> {

    @Override
    public TreeMap<Long, InfoResultRecord> process(
            MutableEntry<String,
                    TreeMap<Long, InfoResultRecord>> entry, Object... args) {

        InfoResultRecord record = (InfoResultRecord) args[0];

        final Long oneDayMsSeconds = 24 * 60 * 60 * 1000L;

        TreeMap<Long, InfoResultRecord>
                InfoResultRecordTreeMap = entry.getValue();

        if (InfoResultRecordTreeMap == null) {
            InfoResultRecordTreeMap = new TreeMap<>();
        }


        InfoResultRecordTreeMap.put(record.getDealTime() + oneDayMsSeconds, record);
        entry.setValue(InfoResultRecordTreeMap);

        return null;
    }
}

Что-то не так??или я использую кеш неправильно?

Я также пишу простой тестовый код для проверки скорости при получении / вставке с TreeMap: 

public class Server2 {

    public static void main(String[] args) throws IgniteException {
        try (Ignite ignite = Ignition.start("server-start.xml")) {

            IgniteCache<String, TreeMap<Long, String>> testCache = ignite.getOrCreateCache("testCache");
            testCache.put("my",new TreeMap<>());

            while (true) {
                StopWatch stopWatch = new StopWatch();
                stopWatch.start("1");
                TreeMap<Long, String> map = testCache.get("my");
                stopWatch.stop();
                stopWatch.start("2");
                map.put(System.currentTimeMillis(),String.valueOf(new Random().nextInt(1000000000)));
                testCache.put("my",map);
                stopWatch.stop();

                System.out.println("cacheSize:"+map.size()+","+stopWatch.prettyPrint());
            }
        }
    }
}


cacheSize:1000,StopWatch '': running time (millis) = 195
-----------------------------------------
ms     %     Task name
-----------------------------------------
00080  041%  1
00115  059%  2

cacheSize:1001,StopWatch '': running time (millis) = 38
-----------------------------------------
ms     %     Task name
-----------------------------------------
00028  074%  1
00010  026%  2


cacheSize:3000,StopWatch '': running time (millis) = 139
-----------------------------------------
ms     %     Task name
-----------------------------------------
00055  040%  1
00084  060%  2

cacheSize:3001,StopWatch '': running time (millis) = 68
-----------------------------------------
ms     %     Task name
-----------------------------------------
00042  062%  1
00026  038%  2

Это ясно показывает, когда размер Treemapповышение, время, затрачиваемое на увеличение / восстановление кеша воспламенения, я думаю, это должно быть 1 ~ 2 мс, но здесь это хх мс, а с увеличением размера это будет ххх мс, даже секунды.

1 Ответ

0 голосов
/ 21 мая 2018

Очевидно, что в таком случае время чтения / записи будет расти, так как при каждой операции необходимо будет копировать данные из кучи в кучу (и наоборот) и сериализовать / десериализовывать их, однако япроверил ваш код локально и время росло не так резко.Например, я получил 

cacheSize:10082,StopWatch '': running time (millis) = 18
-----------------------------------------
ms     %     Task name
-----------------------------------------
00009  050%  1
00009  050%  2

В любом случае, я не думаю, что вы выбрали хорошее решение для своего варианта использования - я бы рекомендовал хранить все эти данные отдельно, то есть ввести ключ с полями для строки TreeMapимя и определенный длинный ключ для строки и хранить эти данные по строкам.Используя это, ваши операции записи будут намного быстрее.Кроме того, в этом случае вам необходимо сопоставить данные по названию древовидной карты.Для запроса всех данных вы можете использовать SQL с оператором ORDER BY.И не забудьте использовать индексы!

...