Я не уверен, раньше такого не делали, но вы говорите, что загружаете файл tlb? Возможно, для addressofmember вам нужно загрузить dll, содержащую объект com, я подумал, что файл tlb - это просто описание интерфейсов, и, следовательно, addressofmember не будет загружать какой-либо код.