Просто установите пороговое значение. Если разница между двумя значениями меньше порога, считайте их равными:
a = 1.23456789
b = 1.23456777
threshold = 0.000001
diff = math.abs(a - b) -- Absolute value of difference
print(diff < threshold) -- True if difference is less than threshold
Выход:
true