Вы уже делаете это в этой строке (но измените флаг R на L):
RewriteRule ^/urban/cat_ap~([^~]+)~(.*).htm$ /urban/cat_ap.php?$1=$2 [L]
URL-адрес, который пользователь нажимает, будет по-прежнему отображаться как версия .htm, а сервер обрабатывает ее как .php
.