Свойства должны быть установлены для самого узла / объекта столбца таблицы и для элемента в ячейке / разделе столбца. Это имеет смысл с точки зрения библиотеки JasperReports, но делать это в Jaspersoft Studio немного неловко.
Что вам нужно сделать, это открыть таблицу в представлении Outline, а затем развернуть любой раздел таблицы (например, в качестве детализации), выберите узел столбца в разделе (не элемент в столбце), щелкните правой кнопкой мыши, Показать свойства, а затем в представлении Свойства go выберите Дополнительные и Разные / Изменить свойства (в котором кнопка отображается при нажатии [ Свойства]).
Вот как это выглядит на моей машине:

После установки, например, net.sf.jasperreports.components.table.column.sortable
свойство false для столбца:

при запуске отчета на сервере JasperReports будет отключена сортировка для столбца:
