Да - это именно то поведение, которое вы получаете, когда надстройка .xll имеет неправильную «разрядность» для процесса Excel. Для Excel-DNA вам необходимо использовать копию ExcelDna.xll для 32-разрядных версий Excel (работает в 32-разрядной или 64-разрядной версии Windows) и копию ExcelDna64.xll для 64-разрядной версии Excel 2010.
Обратите внимание, что во всех версиях Windows (как 32-разрядных, так и 64-разрядных) рекомендуемая установка Office по умолчанию - это 32-разрядная версия.