Вероятно, функция считается конструктором класса - может, она находится в каталоге с именем @TestXY
?
И в этом случае вам разрешено возвращать только один объект.
Может быть, вы могли бы обернуть два возвращаемых значения в один массив ячеек ...
Что-то вроде
function xy = findXY(B)
[by, bx] = size(B);
x = zeros(by,bx);
y = zeros(by,bx);
for i=1:10
x(i) = i;
y(i) = i;
end
xy = {x y};
end
Но если функция не является конструктором, ваш код вполне допустим.