IconButton имеет некоторые отступы по умолчанию, исправьте проблему, удалив отступы по умолчанию. Проверьте код ниже, он работает отлично.
CircleAvatar(
backgroundColor: Colors.blue,
radius: 16,
child: IconButton(
// remove default padding here
padding: EdgeInsets.zero,
icon: Icon(Icons.add),
color: Colors.white,
onPressed: () {},
),
),
Вывод кода: ![enter image description here](https://i.stack.imgur.com/Dwv8z.png)