Возможно, вы захотите рассмотреть возможность использования таблиц MyISAM в tmpfs. Недостатком является то, что вам придется заново создавать их при каждом перезапуске сервера (таблицы обработчиков памяти сохраняются при перезапуске).
MyISAM намного более экономно использует память, чем механизм памяти, и, вероятно, так же быстро работает на некоторых рабочих нагрузках (вам нужно протестировать его в непроизводственной системе)
Вы, вероятно, хотите попытаться диагностировать, что именно использует память - это могут быть не таблицы памяти. К сожалению, трудно понять, что использует память в MySQL.
Память из таблиц памяти должна быть освобождена, но возможно, что она не сможет освободить ее из-за фрагментации, то есть другие виды памяти будут размещены в промежутках между ними. Обычно «большие» выделения в MySQL появляются при запуске (например, буферный пул innodb), но если вы неправильно настроили my.cnf, они могут произойти и позже.
Попробуйте опубликовать этот вопрос в my.cnf на сервере.