Как EHCache, использующий Terracotta, обрабатывает выселение из распределенной кучи? - PullRequest
Новая
       40

Как EHCache, использующий Terracotta, обрабатывает выселение из распределенной кучи?

2 голосов
/ 07 марта 2011

Недавно мы начали использовать EHCache с Terracotta для запуска распределенного кэша данных для данных приложений.Скажем, у любого клиентского узла есть около 2 ГБ для их кучи, тогда как у серверных узлов есть 8 ГБ.Мы генерируем много данных, около 1,5 ГБ в день.

Как правило, любой клиент будет использовать набор данных конкретного дня (около 1,5 ГБ), но сервер, очевидно, должен содержать все из них.

Способ, которым я хотел бы, чтобы выдох работал, основан на LRU, когда куча становится большой.Поэтому, если какой-либо конкретный кэш на стороне клиента L1 станет слишком большим (скажем, при переключении с дня 1 на день 2), я ожидаю, что он вытеснит из L1 все данные дня 1.Если L2 становится слишком большим, когда мы получаем 6-й набор данных, то у самого старого набора данных срок действия истекает полностью.У меня нет никакого мнения о том, какими должны быть значения времени жизни или простоя, поэтому я оставляю их неустановленными.

После нескольких дней просмотра я не наденуне думаю, что это работает, как я ожидал.Например, я выполнил тест с элементами L2 max 4. Я заполнил его четырьмя элементами.Затем я пошел, чтобы поставить пятый элемент.Cache.put () возвратился без исключений, но сразу после Cache.get () с тем же ключом вернул ноль!

Поэтому мой вопрос: как заставить EHCache + Terracotta делать то, что я хочу, илихоть что-то близкое?

1 Ответ

1 голос
/ 09 марта 2011

После долгих раздумий выясняется, что таинственное поведение определяется тем, имеет ли кеш L1 какие-либо сведения о том, что находится в кеше L2. Прикрепленные модульные тесты предназначены для выполнения в парах, каждый элемент пары выполняется в отдельной JVM, чтобы избежать одноэлементности EHCache.

Я считаю, что правильные отношения L1-> L2 должны работать так: если вы выполните .put () без ошибок, вы сможете сразу же получить get () того же ключа без проблема (при условии, что никакие другие одновременно работающие потоки не портятся). Однако в случае Terracotta EHCache, если для этого .put () требуется что-то выселить, выселение НЕ происходит, а put () молча игнорируется, если только клиент L1 не «знает» о ключах, которые могут быть выселены. В тестах * JVM2 он узнает об этих других ключах с помощью .getAllWithLoader (), а затем тесты * JVM2 работают как положено.

Итак, что мы сделали для того, чтобы обратиться к нашему оригиналу, это сделать так, чтобы клиенты периодически делали .getAllWithLoader (). Тогда мы можем быть уверены, что все правила выселения соблюдены. 

package com.mine;

import java.io.Serializable;

import junit.framework.TestCase;
import net.sf.ehcache.Cache;
import net.sf.ehcache.CacheManager;
import net.sf.ehcache.Element;
import net.sf.ehcache.config.CacheConfiguration;
import net.sf.ehcache.config.Configuration;
import net.sf.ehcache.config.TerracottaClientConfiguration;
import net.sf.ehcache.config.TerracottaConfiguration;

public class CacheEvictionTest extends TestCase {

    private static final String SERVER = "localhost:9510";
    private CacheManager cacheManager;
    private Cache cache;
    private final Serializable keyA = "a";
    private final Serializable keyB = "b";
    private final Serializable keyC = "c";

    @Override
    protected void setUp() throws Exception {
        Configuration configuration = new Configuration();
        TerracottaClientConfiguration terracottaConfig = new TerracottaClientConfiguration();
        terracottaConfig.setUrl(SERVER);
        configuration.addTerracottaConfig(terracottaConfig);

        int maxElementsInMemory = 1;
        int maxElementsOnDisk = 2;
        long timeToIdleSeconds = 15;
        long timeToLiveSeconds = 15;
        String cacheName = "TEST_CACHE";
        CacheConfiguration amoebaCache = new CacheConfiguration(cacheName, maxElementsInMemory).statistics(true)
                        .terracotta(new TerracottaConfiguration())
                        .logging(true)
                        .maxElementsOnDisk(maxElementsOnDisk)
                        .timeToIdleSeconds(timeToIdleSeconds)
                        .timeToLiveSeconds(timeToLiveSeconds);
        configuration.addCache(amoebaCache);
        configuration.addDefaultCache(new CacheConfiguration("default", 0));

        cacheManager = new CacheManager(configuration);
        cache = cacheManager.getCache(cacheName);
    }

    @Override
    protected void tearDown() throws Exception {
        if (cache != null) {
            cache.removeAll();
            cache.clearStatistics();
        }
    }

    public void testMaxElementOnDiskEvictionJVM1() throws Exception {
        cache.clearStatistics();

        cache.put(new Element(keyA, keyA));
        cache.put(new Element(keyB, keyB));

        cache = null;
    }

    public void testMaxElementOnDiskEvictionJVM2() throws Exception {
        assertEquals(2, cache.getSize());

        for (Object key : cache.getKeys()) {
            cache.get(key;
        }

        cache.put(new Element(keyC, keyC));

        assertEquals(2, cache.getSize());
        assertNotNull(cache.get(keyC));
    }

    public void testEvictsExpiredElementsFromDiskWhenNotInMemoryAndWeNeverKnewAboutItJVM1() throws Exception {
        cache.clearStatistics();
        cache.put(new Element(keyA, keyA));

        cache = null;
        cacheManager = null;
    }

    public void testEvictsExpiredElementsFromDiskWhenNotInMemoryAndWeNeverKnewAboutItJVM2() throws Exception {
        cache.clearStatistics();

        for (Object key : cache.getKeys()) {
            cache.get(key;
        }
        assertEquals(0, cache.getStatistics().getEvictionCount());

        Thread.sleep(20000);

        assertEquals(1, cache.getStatistics().getEvictionCount());
    }
}
...