Ваше условие if
сигнализирует, когда цикл должен остановиться , но условие for
сигнализирует, когда цикл должен продолжаться.
Чтобы увидетьжелаемый результат, инвертируйте ваше for
условие:
for math.Abs((z*z) - x) >= 0.0001 {
z -= ((z*z - x) / (2*z))
}