Проблема в том, что вы, вероятно, собираете мусор (т.е. ваша пауза становится разрушением из-за проблем с памятью). Реализуйте методы onSaveIntstanceState и onRestoreInstanceState в своей деятельности, чтобы посмотреть, решит ли это проблему.
Num1 отметил в комментарии хороший момент, который, по моему мнению, стоит отметить. Обратите внимание, что пакеты должны содержать небольшие объемы данных. Если ваш ArrayList большой, возможно, именно поэтому ваша деятельность собирает мусор в одном месте. Если это так, у вас есть один из двух вариантов. Явно сохраняйте данные на собственном диске в методе onDestroy (таким образом, вы можете делать это только тогда, когда вам действительно нужно, запись на диск может занять некоторое время) или пересчитывать данные, когда ваша деятельность возвращается в фокус. Об этом стоит подумать.