Если у вас есть процесс, работающий в обычном пользовательском режиме, переключение контекста будет происходить естественным образом как часть работы системы - всегда есть другой процесс, который требует времени ЦП. Интеллектуальные переключатели контекста между вашими потоками уже достаточно хорошо оптимизированы операционной системой и иногда могут быть необходимы.
Если у вас действительно возникают проблемы с чрезмерным переключением контекста, лучше всего сначала настроить планировщик Linux, что здесь не по теме. pthread_setschedprio и pthread_setschedparam могут устанавливать некоторые подсказки, но они ограничены установкой приоритетов, и интерпретация этих приоритетов определяется реализацией, т.е. вплоть до планировщика Linux.