«Атомный» не обязательно означает, что это одна операция. Мне нравится думать о нем как о значении «неделимого», то есть оно либо полностью происходит, либо вообще не происходит. Даже если существуют промежуточные состояния, в которых операция не завершена, из любого другого класса, использующего AtomicInteger, атомарная операция будет выглядеть как как полностью завершенная или не завершенная вообще.