с макушки головы:
Передайте хук dll PID процесса, который вы хотите игнорировать при установке хука. Убедитесь, что PID хранится в общем разделе, чтобы все экземпляры ловушек видели одно и то же значение.
В вашей функции перехвата проверьте, совпадает ли текущий PID процесса с переданным. Если это так, не выполняйте зацепку, просто перейдите к CallNextHookEx.
Мне это не нравится, потому что это добавляет к работе, выполняемой в функции ловушки, что всегда плохо. Но похоже, что это должно работать в принципе.