Я думаю, что арифметические библиотеки произвольной точности, такие как, например, GMP содержит некоторые очень тщательно настроенные функции (и даже некоторый код сборки вручную).
Арифметические алгоритмы с высокой точностью очень сложны (и не очень интуитивны). Есть книги на эту тему (я однажды позаимствовал одну, слишком трудно было разобраться во всех деталях, если вы не потратили много часов на изучение математики внутри).
Если бы я был там, где вы, я бы использовал существующую библиотеку, такую как GMP.
Или же потратьте время на изучение, чтение и изучение трудной математики.