Когда вы перенаправляете на весь URL-адрес, он не выполняет перезапись URL-адреса (вы не можете точно перезаписать URL-адреса на чужом веб-сайте).
При условии, что оба URL-адреса находятся на одном сервере, вам необходимосделать что-то вроде
RewriteRule ^(.*)\.htm$ index.php?city=$1 [NC]
Кроме того, я бы порекомендовал привыкнуть использовать переключатель [L]
всякий раз, когда вы можете - это помогает избежать ошибок, когда у вас много URL для перезаписи.