DatabaseFactory.CreateDatabase вообще не подключается к серверу базы данных; если это медленно, что-то еще происходит. Единственная внешняя вещь, которую он должен ударить - это файл конфигурации, и это должно происходить только при первом запросе.
Где находится ваша конфигурация (диск? Общий сетевой ресурс? База данных? Другое?)?
Кроме того - как вы определяете "очень медленно"? Можете ли вы опубликовать образец, который демонстрирует проблему?