Вам необходимо изменить значение свойства basic.empty.showtable на true.Вы можете сделать это для конкретного экземпляра таблицы, используя тег <display:setProperty> внутри тега <display:table>, или вы можете установить его глобально для всего веб-приложения, установив его в файле displaytag.properties.
Прочитайте http://displaytag.sourceforge.net/1.2/configuration.html, чтобы понять, как это работает, открыть для себя другие полезные свойства.