Вы пытаетесь получить квадратный корень из отрицательного числа. Добавьте квадраты, не вычитайте их.
Кроме того, отрицание y - other.y
не является необходимым, хотя и безвредным. значение 2 совпадает с (- значение ) 2 для всех чисел.
System.out.println("D = " + Math.sqrt(Math.pow(x - other.x, 2) + Math.pow(y - other.y, 2)));
// ^^^