Hibernate не имеет никакого отношения к тому, является ли таблица Inno, MyISAM или другим механизмом хранения - это решено на стороне MySQL. В конфигурации сервера есть значения по умолчанию, и вы можете переопределить их при создании таблиц.
Разница не дала бы вам следа - все, что происходит при использовании транзакций в таблице MyISAM, - это отсутствие транзакций. Все удается, но нет изоляции и откатов.
Согласно @shipmaster, ваш след означает, что у вас есть основная проблема, которая, вероятно, не связана с вашим выбором диалекта. Загляните в журналы или прикрепите источники Spring к проекту и проследите их.