Если вы используете профилировщик, вы сможете увидеть, какие вызовы внутри BuildConfiguration
занимают это время. Что они?
Сканирование сборки было бы моим предположением. Является ли сборка, содержащая ваши отображения, особенно большой? Вы сказали Fluent NHibernate сканировать вашу сборку на наличие сопоставлений, поэтому независимо от того, насколько мало сопоставлений, она все равно должна сканировать всю сборку для них.