Это скорее расширенный комментарий, чем ответ ...
Вы догадались, что у вас утечка памяти, но вы не предоставили нам никакой информации, с помощью которой мы можем помочь вам превратить ваши предположения в диагноз. При отсутствии такой информации, некоторые советы ...
a) утечки памяти в программах на Фортране происходят так же, как и в других программах: программисты забывают (или пренебрегают) освобождать переменные по окончании; не забывайте, что с Fortran 2003 вы можете иметь выделяемые скаляры;
b) в длительных научных вычислениях нет ничего необычного в том, что большие массивы выходов создаются итеративно, иногда лучше записать их на диск во время вычислений, чем ждать до конца; вы получаете удар по времени ввода-вывода (ну, в основном, O), но экономите на использовании памяти;
c) существует множество инструментов, помогающих обнаружить утечки памяти, включая Intel Inspector и различные программы с открытым исходным кодом;
d) вы должны хорошо понимать, как изменяется память, требуемая вашей программой при ее запуске;
д) и иногда, в этом домене, ответ просто купить больше ОЗУ.