Вам нужно создать пользовательский плагин аутентификации для phpbb. Поскольку ваше требование - аутентификация на основе базы данных, было бы довольно просто повторно использовать существующий плагин, который phpbb использует для аутентификации на своей собственной внутренней базе данных.
Плагины аутентификации находятся в <install_dir>/includes/auth
Плагин аутентификации должен называться auth_<your custom name>.php
Итак, в вашем случае создайте копию auth_db.php и назовите ее, например, auth_mssql.php
Плагины аутентификации описаны здесь: http://wiki.phpbb.com/Authentication_plugins