Кто-то исправит меня, если я ошибаюсь, но я не думаю, что Autoit может вызывать сборку .NET, поэтому вам нужно будет сделать вашу сборку .net COM видимой и предоставить все функции, которые вы хотите протестировать, используя COM.
Эта ссылка предназначена для вызова .NET-сборок из VB6, но процесс такой же.
Однако я хотел бы знать, почему вы хотите использовать AutoIt для автоматизации тестирования, когда вы можете делать все, что autoit может (и даже больше) делать в .NET?