Сказать, что конструкция синхронизации замедляет выполнение, все равно, что сказать, что парашют замедляет парашютиста. Обойтись без будет быстрее, но это не совсем так. Синхронизация служит цели.
Чтобы повысить скорость выполнения, просто правильно примените синхронизацию.
Например, использование шаблона проектирования Producer / Consumer может помочь вам уменьшить количество конструкций синхронизации, требуемых в вашем коде.