regsvr32 загрузит библиотеку и попытается вызвать DllRegisterServer() из этой библиотеки. Ему все равно, что на самом деле делает DllRegisterServer() - он просто вызывает эту функцию и проверяет возвращаемое значение. Вы используете его для регистрации COM-серверов в неуправляемых библиотеках DLL. Он не может сгенерировать файл .tlb.
regasm зарегистрирует COM-сборку .NET как COM-сервер. Вы используете его для сборок .NET. Он может сгенерировать файл .tlb только для данной сборки - он проверяет информацию о типах, хранящуюся в сборке, и включает в себя объекты, предоставляемые COM, в библиотеку типов.