Квадратная скобка создает вектор или матрицу, тогда как фигурные скобки создают массив ячеек.
При работе с числами я бы сказал, что в 99% случаев вы будете использовать квадратные скобки. Массивы ячеек позволяют хранить разные типы данных в каждом месте, например, матрица 10x5 в (1,1), строковый массив в (1,2), ...
x = [1 2 3]; #% matrix with values 1, 2, 3
y = {1, 'a', x}; #% cell array storing a number, a character, and 1x3 matrix
Вот документация MATLAB для массивов ячеек: http://www.mathworks.com/help/matlab/cell-arrays.html