Похоже, что в ваших файлах Excel даты на самом деле хранятся в виде строки. Вероятно, поэтому изменение формата не имеет никакого эффекта.
Таким образом, вам нужно сохранить дату как дату и, возможно, назначить формат даты для ячейки (поскольку Excel фактически хранит даты в виде чисел).
Если вы сообщите нам, какую библиотеку вы используете для генерации файлов Excel (например, POI), а также опубликуете код, который создает ячейки Excel, содержащие даты, то я, вероятно, даже могу дать вам пример кода.