A(:)
возвращает массив 8 на 1.Запятая добавляется во втором измерении.Таким образом, ваш код не работает.
Если выходные данные должны быть массивом 9 на 1, вы должны написать
features_set = [A(:);B];
Если выходные данные должны быть массивом 1 на 9вы должны написать
features_set = [A(:)',B];