Это не имеет значения, поскольку байтовый массив все еще там.
Но, если вы готовы пожертвовать производительностью ради памяти, я бы посоветовал вам действительно обернуть свой байтовый массив в объект, но оставить сам массив на диске и читать его только тогда, когда это необходимо. Т.е. объект proxy .
Конечно, это зависит от вашего приложения и от того, как вы используете байты. Например, вам может даже не понадобиться загружать весь массив, если клиенту нужны только его части.