Мне жаль говорить, что единственный способ, который я знаю, сделать то, что вы просите, - это потоковая обработка. Это болезненно и имеет целый мир препятствий, но я не верю, что есть какой-то другой путь.
С хорошей стороны, в этом современном мире опыт должен оказаться весьма полезным для вас;).