Нет, маловероятно, что вы увидите какие-либо хиты производительности. ThreadPool начинается со многих доступных потоков. Если вы не используете больше потоков, чем доступно в пуле потоков (что в любом случае предполагает, что вам нужна другая архитектура), все будет в порядке.
Имейте в виду, что большее количество потоков не обязательно означает лучшую производительность. Если у вас 4-х ядерный процессор, ваша максимальная пропускная способность составляет 4 потока. (И даже в этом случае, если никакие другие приложения не используют эти ядра.) Создание дополнительных потоков для решения проблемы с этого момента не улучшит производительность вашего приложения.