Вам нужно передать ссылку на мьютекс, когда вы создаете свой класс.
Worker::Worker(std::mutex &mu, std::unique_lock<std::mutex> &locker)
:m_mu(mu), locker(locker)
{}
Это единственное место, где вы можете инициализировать ссылку.Как только он сконструирован, вы не можете изменить то, на что он ссылается.
Зачем вам шкафчик?Мьютекс выполняет синхронизацию, блокировка - это просто объект RAII, облегчающий получение мьютекса.