Это зависит от того, является ли этот большой объект удаленным объектом - реализует ли он косвенно java.rmi.Remote и экспортируется - или это обычный сериализуемый объект, и в этом случае он копируется от одной JVM к другой. Если это первое, то оно всегда остается в той JVM, которая его создала. Если это позднее, то оно копируется из одного в другое, когда оно передается в качестве аргумента удаленному методу или возвращается из вызова удаленного метода. Копии являются обычными обычными объектами Java и подлежат сборке мусора с обеих сторон в соответствии с обычными правилами.