В зависимости от того, какую привязку использует ваша служба WCF (и, как вы ее вызываете из javascript, я предполагаю webHttpBinding
), вполне возможно, что возвращенный байтовый массив будет возвращен в виде строки в кодировке 64. Поэтому вам может потребоваться изменить компонент ActiveX, чтобы он принимал в качестве параметра строку в кодировке Base 64 вместо байтового массива.