STAssertEquals
требует, чтобы вы сравнивали одинаковые типы с одинаковыми типами. Поэтому добавьте «U» к числу, чтобы сделать его беззнаковым литералом:
STAssertEquals([nsMutableArrayInstance count], 5U, nil);
В качестве альтернативы вы можете использовать OCHamcrest, чтобы сказать:
assertThat(nsMutableArrayInstance, hasCountOf(5));