В следующем запросе declare @a float(23) declare @b float(23) declare @c float(53) set @a =...

Я пытаюсь использовать COM-компонент в Windows в Ruby, который ожидает числа с одинарной точностью....

Предположим, у меня есть код, такой как: float a, b = ...; // both positive int s1 =...

Почему, если я делаю это в javascript, я получаю следующий результат: 1234.56 * 10 = 12345

когда я делаю это умножение 0,94 *8700* 1004 * вывод 8177,999999999999 но это должно было быть 8178...

Как я понимаю, Ruby (1.9.2) с плавающей точкой имеют точность 15 десятичных цифр. Следовательно, я...

Я подозреваю, что об этом уже спрашивали, но не могу найти вопрос, который соответствует ... Я...

Я совершенно сбит с толку из-за этой специфической «ошибки», которую я получаю при разборе строки...

Почему следующий код ведет себя так же, как в C? float x = 2147483647; //2^31...

assert(0.1 + 0.2 != 0.3); // shall be true - моя любимая проверка, что язык использует собственную...

Я слышал, что есть много проблем с плавающими / двойными на разных процессорах. Если я хочу создать...

Здесь, вероятно, есть сотни вопросов об ошибках округления с плавающей запятой, и решение должно...

Я пытаюсь преобразовать десятичное число в целое число с плавающей запятой при использовании...

У меня возникли проблемы с пониманием, почему некоторые цифры не могут быть представлены числом с...

при использовании Math.pow(9, 18) =150094635296999136 при использовании веб-калькулятора 9 ^ 18 =...

Может ли кто-нибудь привести пример числа с плавающей запятой (двойной точности), для представления...

Эта строка: NSLog(@"DBL_MAX: %f", DBL_MAX); печатает это очень большое значение:...

Я имею дело с двумя переменными здесь, но в замешательстве, потому что их значения, кажется,...

Я пытаюсь написать приложение для iphone в ObjectiveC. Мне нужно отобразить текст статуса, который...

Почему так? >>> max(2, 2.01) 2.0099999999999998

Я хотел бы рассчитать (1.0-p)^n, где p - это двойное число от 0 до 1 (часто очень близкое к 0), а n...

Я изучаю Ruby для удовольствия, а также для создания веб-сайтов (но это не имеет значения).Играя с...

У меня очень раздражающая проблема с длинными суммами чисел с плавающей точкой или двойных чисел в...

ree-1.8.7-2010.02 :003 > (10015.8*100.0).to_i => 1001579 ree-1.8.7-2010.02 :004 > 10015

Я знаю, что целочисленный формат будет различным для машин с прямым порядком байтов и для машин с...