Да, по определению, атомарные операции завершаются и видны до того, как любой другой поток, выполняющий атомарную операцию с тем же адресом, получит доступ к тому же значению.
Однако возможно наличие условия гонки, если другие потокиполучить доступ к одному и тому же адресу через неатомарный доступ в одно и то же время, поэтому вы все равно должны быть осторожны при написании правильного параллельного кода.