Один из способов справиться с этим - написать свою DLL-библиотеку, возвращающую SAFEARRAY типа Byte в качестве результата функции (массивы VB - OLE SafeArrays).
Для этого вам нужно ознакомиться с API и структурами SafeArray. Я сам об этом не знаю, но основные вещи, которые вам понадобятся, - это структура SAFEARRAYBOUND и API SafeArrayCreate. Что API возвращает вам, вы возвращаетесь в VBA. И все будет готово.