Итак, после небольшого поиска я выяснил, почему это происходит.
Я использовал для ссылки на COM программы под названием Matlab. Фактически он ссылался на mlapp.tlb и при сборке компилировал его в dll. Интересно, что для x86 он работает просто отлично и не вынуждает перестраивать все проекты, когда ничего не изменилось, но с использованием x64, он вынуждает перестраивать все проекты, даже когда ничего не изменилось ...
Решение состоит в том, чтобы скомпилировать tlb в dll самостоятельно, используя TlbImp.exe, и вместо этого ссылаться на dll. Но мне интересно, разве это не ошибка ??
РЕДАКТИРОВАТЬ: Это ошибка:
http://connect.microsoft.com/VisualStudio/feedback/details/655035/tlb-com-reference-in-f-on-x64