Вы пытаетесь вставить указатель на A
в свой набор, но набор объявляется как принимающий A
с.
Вы должны либо изменить свой набор, чтобы хранить указатели:
A* a = new A(x,y);
set<A*> aset;
aSet.insert(a);
или создать экземпляр, а не указатель на экземпляр:
A a = A(x,y);
set<A> aset;
aSet.insert(a);