Это зависит от реализации, но вы, вероятно, обнаружите, что мьютекс был реализован немного быстрее.Мьютексы обычно реализуются с помощью test и set, в то время как семафоры часто реализуются с помощью test и increment или как мьютекс, защищающий переменную, которая увеличивается.
Я бы предложил использовать мьютекс в большинстве случаев, но не из-за скорости;просто потому, что код, написанный с использованием мьютексов, легче понять, так как семантика менее сложна.