Если вы работаете в системе Linux, вы можете воспользоваться ulimit . Учитывая, что оболочка использует очень мало памяти, вы можете открыть оболочку и запустить:
ulimit -m <memory size>
, чтобы ограничить память для этой оболочки, а затем запустить там свой сервер MySQL.