Если он показывает вам 100 МБ +, то вы, вероятно, используете так много - это то, что может вызвать утечка памяти: из-за не освобождения выделенной памяти, даже если память блокирует небольшую по сути, она может накапливаться до больших чисел. И много блоков по 100 КБ могут вместить много памяти, если вы их создадите.
Итак, посмотрите не только на самый большой блок памяти, но, прежде всего, на количество блоков памяти или вообще количество живых объектов. Сделайте снимки кучи и сравните их - после прогрева ваших приложений (прогрев означает заполнение кэшей и переменных), вы больше не увидите увеличения числа живых объектов.