Проблема в том, что 'folder / foo.html' также соответствует условию RedirectMatch, и папка добавляется снова (и снова, и снова ...)
Поэтому вам, вероятно, нужно что-то вроде этого (не проверено):
RewriteEngine On
RewriteCond %{REQUEST_URI} !^/folder/
RewriteRule (.*)\.html$ /folder/$1.html [R=301,L]
RewriteCond должен проверить, что URI не начинается с / folder, и только если это условие выполнено, будет проверяться RewriteRule.
К сожалению, на данный момент у меня нет доступной установки Apache для тестирования подобных вещей, поэтому вам, вероятно, придется попробовать ее самостоятельно. Но я надеюсь, что у вас есть идея.