Если вы пытаетесь нарисовать линии и окружности непосредственно на растровом изображении (матрице пикселей), то посмотрите алгоритм рисования линий Брезенхема и его варианты для окружностей.
Я уверен, что вы можете найти существующие реализации для них на FEX
Другая возможность - показать изображение (IMSHOW, IMAGESC, ..), использовать функции построения графиков как обычно (PLOT, LINE, ...), а затем снова захватить отображаемую фигуру как изображение, используя GETFRAME как Nzbuu предложено.