Сомнительно, что память исчерпывается именно тогда, когда вам нужно несколько байтов здесь.
Я бы предположил, что сообщение об ошибке неверно или, по крайней мере, вводит в заблуждение;Мое первое предположение состоит в том, что у вас возникнет проблема с выполнением любых вызовов system
в любом контексте - может быть, авторизация или не поддерживается, или что-то подобное.
Попробуйте создать простую программу, в которой ничего нет, простосистемный вызов.Если это уже не помогает, вы знаете, что проблема не в вашей программе.