Это, вероятно, потому что NS_BINDING_SUCCEEDED не является кодом ошибки (да, документация кажется неправильной). То, что вы на самом деле хотите использовать, это Components.results.NS_BINDING_ABORTED
.
Кстати, вы, кажется, сравниваете имя хоста в URL. Учитывая, что у вас уже есть объект nsIURI, это можно сделать проще:
var requestHost = aSubject.QueryInterface(Components.interfaces.nsIHttpChannel).originalURI.host;
var referrerHost = aSubject.QueryInterface(Components.interfaces.nsIHttpChannel).referrer.host;
if (requestHost != referrerHost)
{
aSubject.cancel(Components.results.NS_BINDING_ABORTED);
}