http://tomcat.apache.org/tomcat-6.0-doc/config/http.html
Вы, вероятно, ищете maxPostSize
РЕДАКТИРОВАТЬ
ОП пояснил, что его программе не хватает памяти, а не фактической записи.
Куча JVM является общей, нет кучи для каждого потока, поэтому то, что вы спрашиваете, невозможно.Вы могли бы возможно установить произвольно низкий размер стека и заставить JVM уничтожить ваш поток, когда он достигнет определенной глубины вызова, но это почти гарантированный путь к проблемам, потому что вы не гарантируете, что блокировки будут возвращены вдопустимые состояния.
Я предполагаю, что ваш код содержит довольно много данных в памяти.Может быть, вы можете задать еще один вопрос, и SO может помочь вам спроектировать вашу программу, чтобы она занимала меньше памяти?