Обертки, будучи объектами, помещаются в кучу. Примитивы - это просто «значения» и идут в стек. Это более эффективно, поскольку для обернутых примитивов в куче необходимо (как минимум) и значение (которое находится в стеке) и ссылка на объект-оболочку.
То, имеет ли это увеличение производительности какое-либо значение, зависит от того, что вы делаете. Для тяжелой числовой работы, безусловно, но для 99% всего этого, это скорее раздражение. Во-первых, вы все равно не можете хранить примитивы в Коллекции; они получают автоматическую коробку. Поэтому единственный способ хранить множество из них - использовать простые массивы, что, в свою очередь, может привести к другим видам неэффективности (например, если вам необходимо изменить их размер).