Я думаю, вы можете попробовать это
h = modem.oqpskmod('M',4,'SymbolOrder','Gray','InputType','Bit');
Data = randint(10000,1);
output = modulate(h,Data);
plot(output, 'DisplayName', 'output', 'YDataSource', 'output'); figure(gcf)
Вы можете видеть, что результат есть, и сравнить его с графиком в там.